本文共 4156 字,大约阅读时间需要 13 分钟。
在命令行输入命令: pip install requests
方法 | 说明 |
---|---|
requests.request() | 构造一个请求,是下面6个请求的基础 |
requests.get() | 获取HTML网页的主要方法,对应于HTTP的GET |
requests.head() | 获取HTML网页的头部,对应于HTTP的HEAD |
requests.post() | 向HTML网页提交POST请求的方法,对应于HTTP的POST |
requests.put() | 向HTML网页提交PUT请求,对应于HTTP的PUT |
requests.patch() | 向HTML网页提交PATCH请求,对应于HTTP请求的PATCH |
requests.delete() | 向HTML网页提交DELETE请求,对应于HTTP请求的DELETE |
其中,requests.get()方法最为常用,requests.request()方法是其它六个方法的基础
requests.get()会构造一个request对象请求服务器,并返回一个response对象
requests.get(url,param=None,**kwargs)的参数如下:response对象的属性:
属性 | 说明 |
---|---|
r.status_code | HTTP请求的返回状态,200表示连接成功,404表示失败 |
r.text | HTTP响应内容的字符串形式,即,url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
r.content | HTTP响应内容的二进制形式 |
其中,r.encoding和r.apparent_encoding的区别:
requests库可能产生的异常如下:
因此,使用requests时要注意异常的处理。import requestsdef getHTMLText(url): try: r = requests.get(url, timeout=30) # 状态码不是200,则抛出HTTPError r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return '抛出异常'
注意理解PUT和PATCH的区别:PUT将会覆盖掉URL位置的资源,而PATCH只是更新局部内容
举个简单的例子:
如果url指向的资源存储了如下的信息: { “userID” : “123456789” “userName” : “wyy” “userPasswd” : “****” } 若想要更改userName字段的信息(假设改为w),如果通过PUT请求,因为PUT会覆盖掉原来的信息,所以通过PUT发送请求所需要携带的数据是所有的数据 { “userID” : “123456789” “userName” : “w” “userPasswd” : “****” }通过PATCH发送请求则只需要发送userName所对应的数据即可,
{ “userName” : “w” } 当文件较大时,通过PATCH请求可以更加的节约流量从上图可以看到,使用head()方法请求服务器,服务器会返回响应头和空的响应头,head()方法主要用于当文件很大,我们可以通过只获取响应的头部而判断出文件的具体内容是什么。
request()方法是其他六个方法的基础,说白了,其他六个方法只不过是在request()方法进行更进一步的封装,更方便于我们的使用。
requests.request(method, url, **kwargs)参数详解:有13个可选的关键字参数,其余六个方法,都是从request()方法封装而来
r.encoding是根据响应头的信息来推断编码方式,如果服务器没有编码格式的要求,那么响应头可能就没有相应的charset(即编码格式),那么r.encoding就会采用默认的编码格式’ISO8859-1’,而r.apparent_encoding是通过文本内容分析文本的编码格式,因此更为可靠。
爬取百度首页的完整代码如下:
import requeststry: r = requests.get("https://www.baidu.com") # 如果状态码不是200,则抛出异常 r.raise_for_status() r.encoding = r.apparent_encoding print(r.text)except: print("异常")
url:
状态码居然是503!!!为什么呢?这是因为亚马逊的服务器通过请求头的user-agent字段判断出我们不是浏览器访问,因此拒绝了我们的访问,我们可以通过r.request.headers这个属性来查看我们的请求头 我们可以看到,User-Agent这个字段对应的值是python-requests/2.22.0,因此亚马逊的服务器可以通过这个来判断我们并不是通过浏览器访问网页。我们可以更改请求头User-Agent的值来冒充浏览器访问该网页。我们使用了requests.get()方法中headers可选关键字参数,将请求头的user-agent的值改为Mozilla/5.0达到冒充服务器的效果
完整代码如下:
import requests try: r = requests.get('https://www.amazon.cn/dp/B017J9KKJ0?ref_=Oct_DLandingS_D_112308e2_60&smid=A2EDK7H33M5FFG', headers = {'user-agent' : 'Mozilla/5.0'}) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text)except: print('抛出异常')
转载地址:http://nbtzi.baihongyu.com/