跳到主要内容

🚄 访问网页


SessionPage和WebPage的 s 模式基于 requests 进行网络连接，因此可使用 requests 内置的所有请求方式，包括get()、post()、head()、options()、put() 、patch()、delete()。不过本库目前只对get()和post()做了封装和优化，其余方式可通过调用页面对象内置的Session对象使用。这里只对SessionPage 进行说明，后面章节再单独介绍WebPage。

✅️️ get()​

📌 访问在线网页​

get()方法语法与 requests 的get()方法一致，在此基础上增加了连接失败重试功能。与 requests 不一样的是，它不返回Response对象。

参数名称类型默认值说明
urlstr必填目标 url
show_errmsgboolFalse连接出错时是否显示和抛出异常
retryintNone重试次数，为None时使用页面参数，默认 3
intervalfloatNone重试间隔（秒），为None时使用页面参数，默认 2
timeoutfloatNone加载超时时间（秒）
**kwargs-None连接所需其它参数，具体见 requests 用法
返回类型说明
bool是否连接成功

**kwargs参数与 requests 中该参数使用方法一致，但有一个特点，如果该参数中设置了某一项（如headers），该项中的每个项会覆盖从配置中读取的同名项，而不会整个覆盖。
就是说，如果想继续使用配置中的headers信息，而只想修改其中一项，只需要传入该项的值即可。这样可以简化代码逻辑。

实用功能：

  • 程序会根据要访问的网址自动在headers中加入Host和Referer项
  • 程序会自动从返回内容中确定编码，一般情况无需手动设置

普通访问网页：

from DrissionPage import SessionPage

page = SessionPage()
page.get('http://g1879.gitee.io/drissionpage')

使用连接参数访问网页：

from DrissionPage import SessionPage

page = SessionPage()

url = 'https://www.baidu.com'
headers = {'referer': 'gitee.com'}
cookies = {'name': 'value'}
proxies = {'http': '127.0.0.1:1080', 'https': '127.0.0.1:1080'}
page.get(url, headers=headers, cookies=cookies, proxies=proxies)

📌 读取本地文件​

get()的url参数可指向本地文件，实现本地 html 解析。

from DrissionPage import SessionPage

page = SessionPage()
page.get(r'D:\demo.html')

✅️️ post()​

此方法是用 post 方式请求页面。用法与get()一致。

参数名称类型默认值说明
urlstr必填目标url
show_errmsgboolFalse连接出错时是否显示和抛出异常
retryintNone重试次数，为None时使用页面参数，默认 3
intervalfloatNone重试间隔（秒），为None时使用页面参数，默认 2
**kwargs-None连接所需其它参数，具体见 requests 用法
返回类型说明
bool是否连接成功
from DrissionPage import SessionPage

page = SessionPage()
data = {'username': '****', 'pwd': '****'}

page.post('http://example.com', data=data)
# 或
page.post('http://example.com', json=data)

data参数和json参数都可接收str和dict格式数据，即有以下 4 种传递数据的方式：

# 向 data 参数传入字符串
page.post(url, data='abc=123')

# 向 data 参数传入字典
page.post(url, data={'abc': '123'})

# 向 json 参数传入字符串
page.post(url, json='abc=123')

# 向 json 参数传入字典
page.post(url, json={'abc': '123'})

具体使用哪种，按服务器要求而定。

✅️️ 其它请求方式​

本库只针对常用的 get 和 post 方式作了优化，但也可以通过提取页面对象内的Session对象以原生 requests 代码方式执行其它请求方式。

from DrissionPage import SessionPage

page = SessionPage()
# 获取内置的 Session 对象
session = page.session
# 以 head 方式发送请求
response = session.head('https://www.baidu.com')
print(response.headers)

输出：

{'Accept-Ranges': 'bytes', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Length': '277', 'Content-Type': 'text/html', 'Date': 'Tue, 04 Jan 2022 06:49:18 GMT', 'Etag': '"575e1f72-115"', 'Last-Modified': 'Mon, 13 Jun 2016 02:50:26 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18'}