ChromeDriver介绍
chromeDriver 是 google 为网站开发人员提供的自动化测试接口,WebDriver是一个开源工具,用于在许多浏览器上自动测试webapps。它提供了导航到网页,用户输入,JavaScript执行等功能
ChromeDriver的安装一定要与Chrome的版本一致,不然就不起作用,查看chrom的版本则在浏览器地址栏输入:chrome://version/
chromedriver下载地址: http://chromedriver.storage.googleapis.com/index.html
重构下载器增加ajax功能
首先要在setting.py中开启下载器中间件:JianshuDownloaderMiddleware
DOWNLOADER_MIDDLEWARES = { 'jianshu.middlewares.JianshuDownloaderMiddleware': 543, }
重写process_request方法(middleware文件)
# Define here the models for your spider middleware import time from selenium import webdriver from scrapy.http.response.html import HtmlResponse class JianshuDownloaderMiddleware: def __init__(self): #加载测试浏览器 self.driver = webdriver.Chrome(executable_path=r"f:\chromedriver.exe") # request:则scrapy框架会去服务器加载资源 # repose:则跳资源下载直接交给解析器方法 def process_request(self, request, spider): #模拟人类访问页面的行为,并且单击收入的专题按钮 self.driver.get(request.url) #为了防止页面加载过慢,等待1秒 time.sleep(1) try: while True: show_more = self.driver.find_element_by_class_name('show-more') show_more.click() print('-'*100) time.sleep(0.5) except: print('别点击了,已经没有了') source = self.driver.page_source #创建一个response对象,把页面信息都封装到response对象中 response = HtmlResponse(url=self.driver.current_url,body=source,request=request,encoding='utf-8') return response