python爬取大量数据(百万级)

当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断

进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。

第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓

存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库

https://github.com/jhao104/proxy_pool ， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂

了，还用到了 db ，个人觉得最好自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否

是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip

会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个

去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。

第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬

取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时

（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的

timeout 即可（30 秒），最好在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改

动。

第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点

续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过

程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取

最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待

爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有

ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的

概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启

消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。

第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在

大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这

种偶尔中断的问就方便多了。

希望能帮到各位。

17892751800：python爬取大量数据(百万级)
顾荷宰 ：答：在Python中，可以使用多线程或多进程的方式来爬取大量数据。通过多线程或多进程可以同时进行多个爬取任务，提高数据爬取的效率。另外，可以使用一些优化技巧来提高爬取速度，例如使用异步请求库（如aiohttp、requests-async）来发送异步请求，使用代理IP池来避免IP被封禁，使用分布式爬虫框架（如Scrapy-Redis）...

17892751800：如何用python爬取网站数据
顾荷宰 ：答：用python爬取网站数据方法步骤如下：1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url,然后定位的目标内容。2.先使用基础for循环生成的url信息。3.然后需要模拟浏览器的请求(使用request.get(url)),获取目标网页的源代码信息(req.text)。4.目标信息就在源代码中,为了简单的获取目标信息...

17892751800：如何用python爬取网站数据?
顾荷宰 ：答：1.这里假设我们抓取的数据如下，主要包括用户昵称、内容、好笑数和评论数这4个字段，如下：对应的网页源码如下，包含我们所需要的数据：2.对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面：程序运行截图如下，已经成功爬取到数据：抓取网...

17892751800：python怎么爬取数据
顾荷宰 ：答：一个网址里面的内容多且杂，我们需要将我们需要的信息获取到，我目前主要用到的方法有3个分别是re(正则表达式) xpath 和 bs.4六、处理数据和使数据美化当我们将数据获取到了，有些数据会十分的杂乱，有许多必须要的空格和一些标签等，这时我们要将数据中的不需要的东西给去掉七、保存最后一步就是将...

17892751800：毕业生必看Python爬虫上手技巧
顾荷宰 ：答：Python快速上手爬虫的7大技巧 1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到 代理IP；在urllib 2包中有Proxy Handler类， 通过此类可以设置代理 访问网页，如下代码片段：3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪...

17892751800：python如何扒取数据
顾荷宰 ：答：首先，就是有网络爬虫不断抓取各个网站的网页，存放到搜索引擎的数据库；接着，索引程序读取数据库的网页进行清理，建立倒排索引；最后，搜索程序接收用户的查询关键词，去索引里面找到相关内容，并通过一定的排序算法（Pagerank等）把最相关最好的结果排在最前面呈现给用户。看上去简简单单的三个部分，却...

17892751800：如何用Python爬取数据?
顾荷宰 ：答：方法/步骤 在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。请点击输入图片描述 然后在python的编辑器中输入import选项，提供这两个库的服务 请点击输入图片描述 urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。请点击...

17892751800：如何用python爬取豆瓣读书的数据
顾荷宰 ：答：cur.execute(sql) #执行sql语句,新建一个allbooks的数据库start = time.clock() #设置一个时钟,这样我们就能知道我们爬取了多长时间了for urls in channel.split():urlss=[urls+"?start={}&type=T".format(str(i)) for i in range(0,980,20)] #从channel中提取url信息,并组装成每一页的链接for ...

17892751800：Python爬虫:如何在一个月内学会爬取大规模数
顾荷宰 ：答：1.学习 Python 包并实现基本的爬虫过程 2.了解非结构化数据的存储 3.学习scrapy，搭建工程化爬虫 4.学习数据库知识，应对大规模数据存储与提取 5.掌握各种技巧，应对特殊网站的反爬措施 6.分布式爬虫，实现大规模并发采集，提升效率 - - 学习 Python 包并实现基本的爬虫过程 大部分Python爬虫都是按“...

17892751800：python3 怎么爬取新闻网站
顾荷宰 ：答：以下是使用Python3进行新闻网站爬取的一般步骤：1. 导入所需的库，如requests、BeautifulSoup等。2. 使用requests库发送HTTP请求，获取新闻网站的HTML源代码。3. 使用BeautifulSoup库解析HTML源代码，提取所需的新闻数据。4. 根据新闻网站的页面结构，使用CSS选择器或XPath表达式定位和提取新闻标题、内容、发布...