您现在的位置是:网站首页>>PHP笔记>>>PHP爬虫 phpSpider的使用PHP爬虫 phpSpider的使用-PHP笔记

PHP爬虫 phpSpider的使用

2019-05-11 18:09 by 王刻

1.首先安装phpspider,一般采用composer安装

composer require owner888/phpspider

2.目录结构介绍

    image.png

    core下提供了一些类方便我们开发,log日志,phpspider 爬虫类,selector选择器 ,db数据库操作等

3.定义好爬虫config配置,具体的配置信息可以参考官网 https://doc.phpspider.org/configs-members.html

  (1)主要的配置就是 

//抓取的起点
'scan_urls' => array(
    "https://www.x81zw.com/sort1/",
),
//列表页实例
'list_url_regexes' => array(
    "https://www.x81zw.com/sort\d+/",
),
//内容页实例 要爬取的页面
//  \d+  指的是变量
'content_url_regexes' => array(
    "https://www.x81zw.com/sort\d+/",
),


 (2)选择器 phpspider 提供了三种选择器,xpath  css 正则 ,默认是xpath,使用其他选择器可以使用selector_type 来定义

'fields' => array(
    array(
        'name' => "title",//小说标题
        'selector' => "//div[@id='info']//h1",
        'required' => true,
    ),
    array(
        'name' => "author",//小说作者
        'selector' => "//div[@id='info']//p",
        'required' => true,
    ),
    array(
        'name' => "coverPic",//小说图片地址
        'selector' => "//div[@id='fmimg']//img",
        'required' => true,
    ),
    array(
        'name' => "status",//状态
        'selector' => "//div[@id='info']//p[2]",
        'required' => true,
    ),
    array(
        'name' => "summary",//小说简介
        'selector' => "//div[@id='intro']//p",
        'required' => true,
    ),
    array(
        'name' => "spiderUrl",//爬虫地址
    ),
    array(
        'name' => "type",//小说分类
        'selector' => '//*[@id="wrapper"]/div[3]/div[1]/a[2]',
        'required' => true,
    ),
),


4.重点说一下回调函数

  1. on_status_code

     可以用这个函数做页面过滤,比如广告信息,或者你不想要的html,

     使用xpth ,css 等选择器删除 html 内容,selector::remove($content, "//*[@id=\"info\"]/p[3]");

     记得一定要返回内容,不然爬虫会停止

  b. on_extract_field

     field 爬取的内容数据 ,可以对数据进行一层处理

  c.on_extract_page

    插入数据库操作

  

use phpspider\core\db;
$spider->on_extract_page = function($page,$data) {
    db::set_connect('default', $GLOBALS['config']['db']);
    // 数据库链接
    db::_init();
    //处理哪个数据
    if (isset($data)) {
        $book_table = 'books';//小说数据表
 
        $preg_url =  preg_match_all('#https://www.x81zw.com/book/(.*?)/(.*?)/#', $data['spiderUrl'], $out);;
        $list_url = isset($out[0][0]) ? $out[0][0] : "";
        //根据列表地址
        $find_sql = "select id,title,words from `".$book_table."` where `spiderUrl` = " . "'" . $list_url . "'" ;
        $find_row = db::get_one($find_sql);
        $addData = [];
        if(!empty($find_row)){
            $pisodes_table = "bookepisodes" . $find_row['id']%32;//章节数据表
//            $pisodes_table = 'bookepisodes8_copy';
 
            //更新小说的总字数
            $words = mb_strlen($data['info'] , 'utf-8');
            $book_words = ceil($find_row['words'] + $words);
            db::update($book_table , ['words' => $book_words] , "id = ".$find_row['id']);//更新章节内容链接
 
            $addData = [
                'bid'      => $find_row['id'],//小说ID
                'title'    => $data['title'],//章节标题
                'words'    => $words,
                'is_delete'=> 0,
                'insertTime'=> time(),//创建时间
                'updateTime'=> time(),//更新时间
                'spiderUrl' => $data['spiderUrl'],//列表地址
                'likes'     => rand(10 , 100),//点赞数
            ];
            //路由重复就不入库
            $sql = "select count(*) as `count` from `".$pisodes_table."` where `spiderUrl` = " . "'" . $data['spiderUrl'] . "'" ;
            $row = db::get_one($sql);
            //插入章节数据
            if (empty($row['count'])) {
                $install = db::insert($pisodes_table , $addData );
            }
 
        }
 
        $data = $addData;
    }
    return $data;
};

 5.启动脚本

$spider->start();//启动脚本

6.运行脚本,只能使用命令行,只能使用命令行,只能使用命令行重要的事情说三遍

  php -f alone_book.php start "爬虫地址"

  守护进程方式启动 nohup php -f alone_book.php start &

7.脚本代码 ,仅供参考

 百度网盘下载地址:

链接:https://pan.baidu.com/s/1cDyLtg89i9QcWf466IuGZw 
提取码:pfrf 
复制这段内容后打开百度网盘手机App,操作更方便哦


注:本文转载自原创,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除。

评论0