分布式爬虫共1篇

基于scrapy的redis安装和配置方法 - 拽熊博客

基于scrapy的redis安装和配置方法

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。 Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以...
拽熊的头像 - 拽熊博客超级会员拽熊2年前
456