一、python多线程 关于多线程的知识，看下面这篇文章即可。 二、多线程实例 这里我们是把本站python爬虫教程四中的爬虫例子，给改编写成使用多线程的模式的。 原代码效果如下： import os impor...

一、Scrapy框架简介 Scrapy是用Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的优势在于，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来...

一、数据清洗方式 spider代码 import scrapy class PicspiderSpider(scrapy.Spider): name = 'picSpider' # 爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字 allowed_domains = ...

pyinstaller打包机制 我们写的python脚本是不能脱离python解释器单独运行的，所以在打包的时候，至少会将python解释器和脚本一起打包，同样，为了打包的exe能正常运行，会把我们所有安装的第三...

问题背景 如果目标网站没有设置好HTTPS证书，又或者网站的HTTPS证书不被CA机构认可，用浏览器访问的话，就可能会出现SSL证书错误的提示。 用requests库来请求这类网站的话，会直接抛出SSLError...

一、什么是多线程？ 多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触...

一、*和**解包操作 解包操作可以应用于元组、列表、集合、字典。 *：用于列表、元组、集合**：用于字典 1.取出列表中的元素 2.收集列表中多余的值 二、*args和**kargs用于函数可变传参 在Python...