背景

要做IP地址归属地查询,量比较大,所以想先从网上找到大部分的分配数据,写个蜘蛛程序来抓取入库,以后在程序的运行中不断进行维护、更新、完善。

一些关键点

  • goroutine的使用,让程序并行运行。
  • 正则表达式分组信息提取的使用,正确的提取我们关注的信息。
  • 数据库批量插入操作。
  • 数据库批量更新操作。

代码解析

按功能模块对核心代码进行说明

ip.go

主进程,实现goroutine的调用。

func main() {
 //利用go基本库封装的网页抓取函数,后面有说明
 ctx := common.HttpGet("http://ips.chacuo.net/") 
 //正则表达式,有两个分组(两组小括号),分别取城市信息与url,具体分析代码后面有说明
 reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+"htmlcode">
<a title="北京最新IP地址段" href="http://ips.chacuo.net/view/s_BJ" rel="external nofollow" >北京</a>
  • 请注意,这里面变化只有三个部分(title内容,href内容,链接显示内容),其中两个部分是我们需要的
  • title内容对应正则为 [\S]+ ,非空白符
  • href内容对应的正则为 ([^']+"color: #ff0000">获取ip地址信息

    与主进程类似,注意无信息时处理。

    IpSpider.go

     //获取页面数据
     ctx := common.HttpGet(url)
     //reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+"v_l">([^<]+"v_r">([^<]+"clearfix"></div></dd>`)
     //<dd><span class="v_l">49.64.0.0</span><span class="v_r">49.95.255.255</span><div class="clearfix"></div></dd>
     //取得所有匹配的分组信息
     ip := reg.FindAllStringSubmatch(string(ctx), -1)
     //没有取得任何信息,提前返回,很重要,不然主进程会一直等待结束不了
     if len(ip) == 0 {
      ch <- "There are no data exist."
      return nil
     }

    数据库表结构生成语句

    CREATE TABLE `ip_addr_info` (
     `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引,自动增长',
     `ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段开始',
     `ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段结束',
     `province` varchar(32) DEFAULT '' COMMENT '所属省',
     `ip_comp` varchar(32) DEFAULT '' COMMENT '运营商',
     PRIMARY KEY (`id`),
     UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
    ) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';

    批量写入数据库

    循环处理抓取数据,生成批量写入语句及输入参数,请签到出到afc9ebd版本。

     var vs [] interface{}  //存储输入参数的接口数组
     var vss string    //待拼接的输入参数占位符字符串
     for _, el := range ip {  //处理所有的数据
      vs = append(vs, el[1], el[2], province) //每一列包括开始地址、结束地址与省份
      vss += "("  //占位符
     }
     vss = vss[0:len(vss) -1]  //去掉最后的逗号
     var configs interface{}  //从配置文件取数据库信息
     fr, err := os.Open("./configs.json") //配置文件内容请参照上篇文章《golang实现mysql数据库备份》
     if err != nil {
      ch <- err.Error()
      return err
     }
     decoder := json.NewDecoder(fr)
     err = decoder.Decode(&configs)
    
     confs := configs.(map[string]interface{})
     dialect := confs["database_dialect"].(string)
    
     dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
     dbHost := dbConf["db_host"].(string)
     dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
     dbUser := dbConf["db_user"].(string)
     dbPass := dbConf["db_pass"].(string)
     dbName := dbConf["db_name"].(string)
     dbCharset := dbConf["db_charset"].(string)
    
     dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+""+dbCharset)
     defer dao.Close()
     if err != nil {
      ch <- err.Error()
      return err
     }
     //批量插入语句拼接
     sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
     stmt, err := dao.Prepare(sqlstr) //预处理带参数的sql语句
     rs, err := stmt.Exec(vs...)   //带参数执行sql语句
     if err != nil {     //出错,返回错误信息
      ch <- err.Error()
      return err
     }else {       //成功,返回成功信息
      affect, _ := rs.RowsAffected()
      ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
      return nil
     }

    批量修改数据库

    数据库中的ip_comp字段,是代表运营商信息,需要从运营商页面进入进行数据获取,只需改一下入口url重新运行程序就能正确抓取,但这时入库就不是新增了,而是更新,请签出到4729e66版本。

     //前提数据库表定义要设定唯一索引,主键或其它定义的unique索引
     ...
     
     sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
      //提供更新(唯一索引冲突时)时要对应原字段与值
      " ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
     stmt, err := dao.Prepare(sqlstr)
     rs, err := stmt.Exec(vs...)
     if err != nil {
      ch <- err.Error()
      return err
     }else {
      affect, _ := rs.RowsAffected()
      ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
      return nil
     }

    待改进的方面

    把入口url提到配置中,使用策略模式,让匹配规则抽象成策略,目标是不改程序,调整配置文件就可以抓取不同的网页。

    项目地址

    https://github.com/zhoutk/goTools

    使用方法

    git clone https://github.com/zhoutk/goTools
    cd goTools
    go get
    go run ip.go
    
    go buid ip.go
    ./ip  

    小结

    熟悉了golang语言,了解了一种全新的并发编程模式,熟悉了具体的数据库操作方法,给自己生成了一个方便的工具。

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。

标签:
golang,ip地址,golang,正则,ip地址,ip地址抓取

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com

RTX 5090要首发 性能要翻倍!三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。

据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。