数据以key/value方式存储，值大多是计数器。
统计数据收集器对每一个Spider保持一个状态表。当Spider启动时，该表自动打开，当Spider关闭时，自动关闭。
| 函数 | 解释 |
|---|---|
| stats.set_value("key","value") | 设置数据 |
| stats.inc_value("key") | 增加数据 |
| stats.max_value("key","value") | 对比原数据，设置一个最大的数 |
| stats.min_value("key","value") | 对比原数据，设置一个最小的数 |
| stats.get_value("key") | 获取数据 |
| stats.get_stats() | 获取所有数据 |
vim ArticleSpider/pipelines.py
import codecs # 文件操作模块
import json
# 把item保存到json文件
class JsonWithEncodingPipeline(object):
def __init__(self):
self.file = codecs.open("article.json", 'w', encoding="utf-8")
def process_item(self, item, spider):
lines = json.dumps(dict(item), ensure_ascii=False) + "\n" # 关闭ascii保存，因为有中文
self.file.write(lines)
return item
def spider_closed(self, spider):
# 当爬虫关闭时
self.file.close()扩展在扩展类被实例化时加载和激活。因此，所有扩展的实例化代码必须在类的构造函数(__init__)中执行。
要使扩展可用，需要把它添加到配置文件的EXTENSIONS配置项中:
>>> vim ArticleSpider/settings.py
# 扩展加载的顺序并不重要，因为它们并不相互依赖
EXTENSIONS = {
'scrapy.extensions.telnet.TelnetConsole': None,
'ArticleSpider.extensions.test.Test': 500,
}直接将Item和CSS选择器绑定到一起，直接把选择出来的数据放入Item中。
>>> vim ArticleSpider/spiders/jobbole.py
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']
...
# 文章详情页的内容解析
def article_parse(self, response):
# 通过item loader加载item
item_loader = ItemLoader(item=ArticleItem(), response=response)
item_loader.add_css("title", ".grid-8 .entry-header > h1::text")
item_loader.add_css("content", ".grid-8 .entry")
item_loader.add_css("add_time", ".grid-8 .entry-meta p::text")
item_loader.add_value("url", response.url)
item_loader.add_value("url_object_id", get_md5(response.url))
item_loader.add_value("head_img_url", [head_img_url])
item_loader.add_css("star", "h10::text")
article_item = item_loader.load_item()
yield article_item # 传递到pipeline。请看settings.py中ITEM_PIPELINES字典requests模拟登陆from http import cookiejar
import requests
session = requests.session() # 长连接
session.cookies = cookiejar.LWPCookieJar(filename="cookies.txt") # 保存到本地
try:
session.cookies.load(ignore_discard=True) # 从本地取出cookies
except:
print("cookie未能加载")
header = { # 模拟浏览器头部
"HOST": "tai.yunhongkg.com",
"Referer": "http://tai.yunhongkg.com/Home/User/login.html",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}
def taijiayuan_login(account, password):
# 肽家园登陆
# 判断是否已经登陆(下次可以自动从文件取出cookies,不需要再次登陆)
inbox_url = "http://tai.yunhongkg.com/Home/User/index.html" # 个人中心页面
response = session.get(inbox_url, headers=header, allow_redirects=False) # 不允许重定向
if response.status_code != 200: # 如果是302跳转到登陆页面,表示没有登陆，开始登陆程序
post_url = "http://tai.yunhongkg.com/index.php?m=Home&c=User&a=do_login"
post_data = {
"username": account,
"password": password
}
response = session.post(post_url, data=post_data, headers=header)
session.cookies.save()
else: # 如果返回200代表可以进入个人中心，已经登陆.
return True开启自定义的爬虫中间件
>>> vim ArticleSpider/settings.py
# 去掉注释
SPIDER_MIDDLEWARES = {
'ArticleSpider.middlewares.ArticlespiderSpiderMiddleware': 543,
}无界面的浏览器，多进程情况下phantomjs性能会下降很严重
# 固定写法
from selenium import webdriver
browser = webdriver.PhantomJS(executable_path="c:/phantomjs.exe")
browser.get("https://www.baidu.com")
print("browser.page_source")
browser.quit()安装依赖scrapy：pip install scrapy
安装scrapyd： pip install scrapyd
启动scrapyd服务：>>> scrapyd
linux配置文件路径：/etc/scrapyd/scrapyd.conf windows配置文件路径：C:\Users\xiong\AppData\Local\Programs\Python\Python36\Lib\site-packages\scrapyd\default_scrapyd.conf| 表达式 | 说明 |
|---|---|
| /body | 选出当前选择器的根元素body |
| /body/div | 选取当前选择器文档的根元素body的所有div子元素 |
| /body/div[1] | 选取body根元素下面第一个div子元素 |
| /body/div[last()] | 选取body根元素下面最后一个div子元素 |
| /body/div[last()-1] | 选取body根元素下面倒数第二个div子元素 |
| //div | 选取所有div子元素(不论出现在文档任何地方) |
| body//div | 选取所有属于body元素的后代的div元素(不论出现在body下的任何地方) |
| /body/@id | 选取当前选择器文档的根元素body的id属性 |
| //@class | 选取所有元素的class属性 |
| //div[@class] | 选取所有拥有class属性的div元素 |
| //div[@class='bold'] | 选取所有class属性等于bold的div元素 |
| //div[contains(@class,'bold')] | 选取所有class属性包含bold的div元素 |
| /div/* | 选取当前文档根元素div的所有子元素 |
| //* | 选取文档所有节点 |
| //div[@*] | 获取所有带属性的div元素 |
| //div/a | //div/p | 选取所有div元素下面的子元素a和子元素p(并集) |
| //p[@id='content']/text() | 选取id为content的p标签的内容(子元素的标签和内容都不会获取到) |
Scrapy使用信号来通知事情发生。在项目中捕捉一些信号通过extension来完成额外的功能。
信号提供了一些参数，处理函数可以不用接收所有的参数，信号分发器仅仅提供处理器接受的参数。
有些信号支持从处理器返回延迟对象(Twisted deferreds)
from scrapy.xlib.pydispatch import dispatcher # 调度器
from scrapy import signals # 信号
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['blog.jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']
def __init__(self):
dispatcher.connect(self.handle_spider_closed, signals.spider_closed)
# 爬虫关闭的信号量处理器
def handle_spider_closed(self):
stats = self.crawler.stats.get_stats() # 获取数据搜集器所有数据
print(stats) # 打印出来
def parse(self, response):
pass