本篇文章主要介绍了python3使用requests模块爬取页面内容的实战演练，具有一定的参考价值，有兴趣的可以了解一下
1.安装pip
我的个人桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，所以我这里第一步先安装pip。


$ sudo apt install python-pip安装成功，查看PIP版本：


$ pip -V2.安装requests模块
这里我是通过pip方式进行安装：


$ pip install requests
运行import requests，如果没提示错误，那说明已经安装成功了！
检验是否安装成功
3.安装beautifulsoup4
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。


$ sudo apt-get install python3-bs4注：这里我使用的是python3的安装方式，如果你用的是python2,可以使用下面命令安装。


$ sudo pip install beautifulsoup44.requests模块浅析
1）发送请求
首先当然是要导入 Requests 模块：


>>> import requests然后，获取目标抓取网页。这里我以下为例：


>>> r = requests.get('http://www.gxlcms.com/article/124421.htm')这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法，所以举一反三你也可以将其替换为put、delete、post、head。
2）传递URL参数
有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。
举例来说，当我们google搜索“python爬虫”关键词时，newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ，那么你可以使用如下代码：


>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}
>>> r = requests.get("https://www.google.com/search", params=payload)3）响应内容
通过r.text或r.content来获取页面响应内容。


>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.textRequests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别，简单说：
resp.text返回的是Unicode型的数据；
resp.content返回的是bytes型也就是二进制的数据；
所以如果你想取文本，可以通过r.text，如果想取图片，文件，则可以通过r.content。
4）获取网页编码


>>> r = requests.get('http://www.cnblogs.com/')
>>> r.encoding
'utf-8'5）获取响应状态码
我们可以检测响应状态码：


>>> r = requests.get('http://www.cnblogs.com/')
>>> r.status_code
2005.案例演示
最近公司刚引入了一款OA系统，这里我以其官方说明文档页面为例，并且只抓取页面中文章标题和内容等有用信息。
演示环境
操作系统：linuxmint
python版本：python 3.5.2
使用模块：requests、beautifulsoup4
代码如下：


#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'
import requests
import bs4
#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'
#抓取页码内容，返回响应对象
response = requests.get(url)
#查看响应状态码
status_code = response.status_code
#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')
print(status_code)
print(element)程序运行返回爬去结果：
抓取成功
关于爬去结果乱码问题
其实起初我是直接用的系统默认自带的python2操作的，但在抓取返回内容的编码乱码问题上折腾了老半天，google了多种解决方案都无效。在被python2“整疯“之后，只好老老实实用python3了。对于python2的爬取页面内容乱码问题，欢迎各位前辈们分享经验，以帮助我等后生少走弯路。

---

19270031688：python中request的get和post请求方法详解
汪建纨 ：答：1、POST方法 通过 POST 发送到服务器的数据存储在 HTTP 请求的请求主体中：2、get方法 查询字符串（名称/值对）是在 GET 请求的 URL 中发送的：3、比较 GET 与 POST 下面的表格比较了两种 HTTP 方法：GET 和 POST。

19270031688：python3.5和python3.6对request库的支持
汪建纨 ：答：requests库是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块。_ip命令安装_indows系统下只需要在命令行输入命令 pip install requests 即可安装_? linux 系统下，只需要输入命令 sudo pip install requests ，即可安装。

19270031688：python通过get,post方式发送http请求和接收http响应
汪建纨 ：答：Please enter first name./h1main()python发送post和get请求get请求：使用get方式时，请求数据直接放在url中。方法一、?78import urllibimport urllib2url = req = urllib2.Request(url)print reqres_data = urllib2.urlopen(req)res = res_data.read()print res方法二、?7import httpliburl = conn...

19270031688：python:Request的函数是什么作用
汪建纨 ：答：1 “class Request( url[, data][, headers] [, origin_req_host][, unverifiable]) ”吧。这是一个类阿。是提取url中的信息的阿 “This class is an abstraction of a URL request.”就像你在百度里面搜索“python”一样。用户点完enter键触发。这时候 URL = "http://www.baidu.com/s?

19270031688：python3 import urllib.request错误求解
汪建纨 ：答：使用 import urllib.request 导入，使用时需要带模块名，即urllib.reuqest 使用 from urllib import request导入，使用时不需要带模块名，即直接使用request import module 和 from module import，区别是前者所有导入的东西使用时需加上模块名，而后者则不需要。当然也可以 import urllib.request as request ...

19270031688：python如何获取网页源码中整个的内容?
汪建纨 ：答：一般是这样，用request库获取html内容，然后用正则表达式获取内容。比如：import requests from bs4 import BeautifulSoup txt=requests.get("https://www.gov.cn/").text //抓取网页 a=BeautifulSoup(txt,'html.parser') //构建解析器 print(a.body) //获取内容，也可以是a.title或者其他的标记...

19270031688：如何使用python从JSON刮取Web数据?
汪建纨 ：答：我们通过Python 中的Request 对带有json 数据的进行请求。7、访问同乐学堂json 数据接口# http://www.ztloo.com/wp-json/wp/v2/posts?per_page=2params = {'per_page': 2}url = 'http://www.ztloo.com/wp-json/wp/v2/posts'r = requests.get(url,params=params)print(r.status_code)...

19270031688：如何用python把网页上的文本内容保存下来
汪建纨 ：答：1、了解Python如何获取网页内容。2、导入 urllib.request模块。3、使用urllib.request.urlopen( )获取对象。4、urllib.request.urlopen()获取的是一个网页的http.client.HTTPResponse对象。5、若要打印http.client.HTTPResponse对象的内容，可以继续使用read()方法。

19270031688：python 爬虫里面什么叫request
汪建纨 ：答：客户端可通过HTML表单或在网页地址后面提供参数的方法提交 数据，然后通过request对象的相关方法来获取这些数据。request的各种方法主要用来处理客户端浏览器提交的请求中的各项参数和选项。而python爬虫中的request其实就是通过python向服务器发出request请求，得到其返回的信息 ...

19270031688：python 3中urlretrieve方法直接将远程数据下载到本地.为什么不行?_百度...
汪建纨 ：答：你的路径可能不对,按照我的代码，你需要在d盘根目录下新建一个test文件夹，才能正常运行 我把代码附上:import reimport urllib.requestdef Schedule(a,b,c): per = 100.0 * a * b / c if per>100: per = 100 print('完成！') print('%.2f%%' % per)def getHtml(url...