python模拟网站登录并获取数据

该脚本通过仿冒cookie的方式实现访问需要登录的网站页面。

import sys
import io
from urllib import request
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码
#登录后才能访问的网站
url = 'http://10.51.6.66:9060/console/'
#浏览器登录后得到的cookie，也就是刚才复制的字符串
cookie_str = r'DWRSESSIONID=cDfDbucPGpFmTk2t0QCf842p5Pn; console-d-4c75-a=E25BEFC43F7EE539F65EC674844A6821'
#登录后才能访问的网页
url = 'http://10.51.6.66:9060/console/rest/api/jvm_memory_detail?attrName=HeapMemoryUsage'
req = request.Request(url)
#设置cookie
req.add_header('cookie', cookie_str)
#设置请求头
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
resp = request.urlopen(req)
print(resp.read().decode('utf-8'))