Scrapy 爬虫框架-获取ajax数据

ChromeDriver介绍

chromeDriver 是 google 为网站开发人员提供的自动化测试接口,WebDriver是一个开源工具，用于在许多浏览器上自动测试webapps。它提供了导航到网页，用户输入，JavaScript执行等功能

ChromeDriver的安装一定要与Chrome的版本一致，不然就不起作用,查看chrom的版本则在浏览器地址栏输入：chrome://version/
chromedriver下载地址: http://chromedriver.storage.googleapis.com/index.html

重构下载器增加ajax功能

首先要在setting.py中开启下载器中间件：JianshuDownloaderMiddleware

DOWNLOADER_MIDDLEWARES = {
   'jianshu.middlewares.JianshuDownloaderMiddleware': 543,
}

重写process_request方法（middleware文件）

# Define here the models for your spider middleware
import time
from selenium import webdriver
from scrapy.http.response.html import HtmlResponse

class JianshuDownloaderMiddleware:

    def __init__(self):
        #加载测试浏览器
        self.driver = webdriver.Chrome(executable_path=r"f:\chromedriver.exe")
    # request:则scrapy框架会去服务器加载资源
    # repose:则跳资源下载直接交给解析器方法
    def process_request(self, request, spider):
        #模拟人类访问页面的行为，并且单击收入的专题按钮
        self.driver.get(request.url)
        #为了防止页面加载过慢，等待1秒
        time.sleep(1)
        try:
            while True:
                show_more = self.driver.find_element_by_class_name('show-more')
                show_more.click()
                print('-'*100)
                time.sleep(0.5)
        except:
            print('别点击了，已经没有了')
        source = self.driver.page_source
        #创建一个response对象，把页面信息都封装到response对象中
        response = HtmlResponse(url=self.driver.current_url,body=source,request=request,encoding='utf-8')
        return response