YMLiang

之前学习了一段时间go之后想写一点小的项目，上网查询了一些资料，做了一些小的demo，今天将我最近写的小项目分享给大家：利用go实现单任务版爬虫和并发爬虫，因为go对并发支持的很好，所以我们只需要提前将goroutine和channl学好，就很好理解了

1
2
3
4
5

项目结构：
1.带有简单的日志收集，打印的日志写到/logs目录下，可配置写到文件中还是输出到控制台，或者都输出
2.简单的正则匹配，上下文控制超时，chan控制并发数量，goroutine并发下载等知识点
3.简单的乱码处理，简单的随机数处理，图片下载，图片名称替换等
项目难度 ❤

本章来讲什么是并发，了解并发的意义才能会用它

首先了解进程和线程
进程是资源分配的最小单位，线程是程序执行的最小单位。
进程是程序在操作系统中的一次执行过程，系统进行资源分配和调度的一个独立单位。
线程是进程的一个执行实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。
一个进程可以创建和撤销多个线程;同一个进程中的多个线程之间可以并发执行。

并发和并行

并发的关键是你有处理多个任务的能力，不一定要同时。
并行的关键是你有同时处理多个任务的能力。
所以我认为它们最关键的点就是：是否是同时。

regexp包

------------------------------------------------------------

// 判断在 b 中能否找到正则表达式 pattern 所匹配的子串
// pattern：要查找的正则表达式
// b：要在其中进行查找的 []byte
// matched：返回是否找到匹配项
// err：返回查找过程中遇到的任何错误
// 此函数通过调用 Regexp 的方法实现
func Match(pattern string, b []byte) (matched bool, err error)

func main() {
    fmt.Println(regexp.Match("H.* ", []byte("Hello World!")))
    // true 
}

------------------------------------------------------------

条件语句 select

select 语句
select 语句类似于 switch 语句，但是select会随机执行一个可运行的case。如果没有case可运行，它将阻塞，直到有case可运行。

select 是Go中的一个控制结构，类似于用于通信的switch语句。每个case必须是一个通信操作，要么是发送要么是接收。
select 随机执行一个可运行的case。如果没有case可运行，它将阻塞，直到有case可运行。一个默认的子句应该总是可运行的。

请关注我的个人博客

流程控制

• if

  1 2 3 4 5 6 7 8 9 10 11 12 13 14

  if 布尔表达式 { /* 在布尔表达式为 true 时执行 */ } *不支持三元操作符(三目运算符) "a > b ? a : b"。 if else： if 布尔表达式 { /* 在布尔表达式为 true 时执行 */ } else { /* 在布尔表达式为 false 时执行 */ }

Go 向函数传递指针参数

• Go 语言允许向函数传递指针，只需要在函数定义的参数上设置为指针类型即可

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

  package main import "fmt" func main() { /* 定义局部变量 */ var a int = 100 var b int = 200 fmt.Printf("交换前 a 的值 : %d\n", a) fmt.Printf("交换前 b 的值 : %d\n", b) /* 调用函数用于交换值 * &a 指向 a 变量的地址 * &b 指向 b 变量的地址 */ swap(&a, &b) fmt.Printf("交换后 a 的值 : %d\n", a) fmt.Printf("交换后 b 的值 : %d\n", b) } func swap(x *int, y *int) { var temp int temp = *x /* 保存 x 地址的值 */ *x = *y /* 将 y 赋值给 x */ *y = temp /* 将 temp 赋值给 y */ } 输出结果： 交换前 a 的值 : 100 交换前 b 的值 : 200 交换后 a 的值 : 200 交换后 b 的值 : 100

数据类型转换

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
   通过类型前置加一个圆括号
   T(表达式)
   T表示要转化的类型，表达式包括：变量，数值，函数返回值等
   int(8.2)
   int(80.5)
   布尔型无法与其他类型转换

   int转换为string OK
   string转换为int NO


   eg:
   chinese := 90
english := 90.9
result := string(chinese)

fmt.Println(chinese,english,result)
   
   90 90.9 Z

什么是beego

一个框架：可以理解为Golang的MVC框架
四个特点：简单化、智能化、模块化、高性能
具体好处去官网自行浏览

官网传送门