Python爬虫之urllib模拟登录及cookie的那点事

   日期:2024-01-17     浏览:21    评论:0    

在web  sprider crawl过程中,许多网站都需要登录后才能访问,一般如果我们不用爬虫框架的前提下,常规用的就两个库 ,urllib库和requests库,本文将用最基础的urllib库,以模拟登录人人网为例,理清爬虫过程中登录访问和cookie的思绪。

 

1.终极方案,也是最简单粗暴最有效的方式。直接手动登录,提取cookie,下次访问直接在请求头携带cookie

       我们知道,网站辨别用户身份和保持会话的常用方式就是cookie和session,用户登录成功,服务器返回一些特定字符串保存在本地浏览器中(cookie),浏览器下次访问会直接携带cookie,这样服务器就可以根据返回的cookie验证访问者身份。通常如果用浏览器正常访问,这部分事情浏览器会帮我们去做。但是在程序模拟登  录时候,携带cookie就需要手动携带了。话不多说,直接进入主题。

    

 

 

    打开人人网登录界面,填入自己正确的用户名和密码,成功登陆进去。

 

 

 

 

其中红色框的就是服务器给你的cookie,你的cookie就是以这样的形式在request请求头中的。直接将其复制粘贴下来,放入代码中。上程序:

 

""" 首先手动登录人人网,然后获取cookie """

from urllib.request import urlopen, Request headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', # 'Accept-Encoding': 'gzip, deflate', 这部分通常注释掉,因为这部分是高诉服务器,本地支持的压缩类型,因为浏览器会自动帮我们解压,但是在程序中,没办法解压,所以请求头就不携带了
    'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'Cookie': 'anonymid=kcpawuyd33irh2a;depovince=GW;r01_=1; JSESSIONID=abcGzDX6FRQNVfwdUETBnx;ick_login=6a732399-3adf-471b-af92-9bd68299d515; \
    taihe_bi_sdk_uid=e4c3ee72270319312dde3088eb04c0be; taihe_bi_sdk_sefssion=6722a32d96ebbf8fd565fc7cc7f8f789;ick=1048bb79-0d32-46ab-8a11-af0c7e4cfa51;first_login_flag=1; \
    ln_uact=17795796865;ln_hurl=http://head.xiaonei.com/photos/0/0/men_main.gif; ga=GA1.2.2124318841.1594975538;gid=GA1.2.506855365.1594975538; \
    wp_fold=0;jebecookies=3833d4fe-20b3-4ecf-9efc-df9aca93641e|||||;de=5C6d0B07AA3EB53E377A21F126C928EF0; p=d3ae1effe255d4e057ef37f5682ac4850;\
    t=ba23da27a155cc2b84a43307e83b37a70;societyguester=ba23da27a155cc2b84a4f3307e83b37a70;id=974774570;xnsid=a3c6bde2;ver=7.0;loginfrom=null
', 'Host': 'www.renren.com', 'Referer': 'http://www.renren.com/974774570/profile''Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36' } url = 'http://www.renren.com/974774570/profile' #个人主页 request = Request(url=url, headers=headers) response = urlopen(request) print(response.read().decode())

   注释:程序的headers 是一个字典,是通过登录后抓包来的如下:

 

 

 

 

 

 

    其实通常我们只需要携带图中的两个参数,cookie和User-Agent,,某些get请求中,只需伪装User_agent即可。但是我为什么带这么多呢,那是因为,在有的网站你抓取的过程中,你其他参数都配置完美,但是总是抓取错误,那么问题八九不离十出现在headers中,始终记住我们是用程序模拟浏览器访问服务器,说明程序伪装的还不够完美。

 那么这时候就要考虑headers中是否缺失了某些头部信息。为了防止出错,干脆全盘端过来,反正你浏览器访问的时候就是带的这些请求头参数。但是要注意,请求头Accept-Encoding (程序中已经交代清楚)和 Content-Length(这是浏览器计算出的长度,程序模拟没办法计算,所以注释掉)通常注释掉。

 

 HTTP请求中的常用消息头

  accept:浏览器通过这个头告诉服务器,它所支持的数据类型
  Accept-Charset: 浏览器通过这个头告诉服务器,它支持哪种字符集
  Accept-Encoding:浏览器通过这个头告诉服务器,支持的压缩格式
  Accept-Language:浏览器通过这个头告诉服务器,它的语言环境
  Host:浏览器通过这个头告诉服务器,想访问哪台主机
  If-Modified-Since: 浏览器通过这个头告诉服务器,缓存数据的时间
  Referer:浏览器通过这个头告诉服务器,客户机是哪个页面来的  防盗链
  Connection:浏览器通过这个头告诉服务器,请求完后是断开链接还是何持链接

  Content-Length:浏览器通过这个头告诉服务器发出去的字节长度

2. 模拟登录,然后访问主页(在程序中我们不需要关心cookie是如何如何的,opener对象会自动帮我们处理,与之对应的是方式3,见下文)

 

 

 

      

 

 

 通过抓包如上图,分析登录post请求的地址和携带的参数

      

 

 

 直接上代码:

"""
真正的模拟登录是:发送post请求之后,保存cookie,之后访问携带cookie
"""
# http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2020652227884 通过这13位数,我们可以以男人的直觉,嗅出这是精确到毫秒的时间戳,那m我们给他生成就是
url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp={}'  # 登录地址
import time
from urllib.request import Request, urlopen, HTTPCookieProcessor, build_opener, ProxyHandler
from urllib.parse import urlencode
from http.cookiejar import CookieJar, MozillaCookieJar

# 1. 创建cookiejar对象,这一种方式不用手动保存cookie,后期直接调用同一个opener即可,因为cookie已经在opener对象中
cookiejar = CookieJar()

# 2.通过cookiejar创建一个handler
handler = HTTPCookieProcessor(cookiejar)
# handler1 = ProxyHandler({'http': '182.101.207.11:8080'})     # 选择是否需要代理(自己设定代理)
# 3.根据handler创建一个opener
opener = build_opener(handler)  # build_opener以传递多个handler对象,如果需要代理,则将handler1也传入
unique_time = int(time.time() * 1000)  # 生成时间戳

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
}

data = {
    'email': '17795796865',
    'icode': '',
    'origURL': 'http://www.renren.com/home',
    'domain': 'renren.com',
    'key_id': '1',
    'captcha_type': 'web_login',
    # 此处密码是经过目标网站加密,不能直接放置原生密码,加密密码可以用浏览器抓包获取
    'password': '4af866303efsdf40a11d9f01e9677f3374bb957f905790b62a7eaa1accaf0a634764a1',
    'rkey': '1ad002b47d8446d446f8d76f5bb5ff66',
    'f': 'http%3A%2F%2Fwww.renren.com%2F974774570%2Fnewsfeed%2Fphoto'
}
# 4 创建request对象
request = Request(url=url.format(unique_time), headers=headers)
# 5.post方式提交登录
respose = opener.open(request, data=urlencode(data).encode())
print(respose.read().decode())
print('*' * 50)

# get方式访问个人主页
get_url = 'http://www.renren.com/974774570/profile'
request = Request(url=get_url, headers=headers)
respose = opener.open(request)
print(respose.read().decode())

      注释:data中的数,我们一个都不能少,因为post请求中,抓包可以看到,浏览器就带的这么多参数。至于参数是什么意思,我们唯一能一眼看懂的就是email(用户名)和password(密码)。密码是加密后的,一定不能写原生密码,加密后这一窜密码可以用浏览器登录抓包获取。至于其他的参数,这就是爬虫的难点,比如像大型的互联网公司如淘宝,这里的data参数动辄几十个,要破解相当有难度,我们暂且不需要关注这些,但是通常的网站我们稍作分析大概就能猜出来这里某个参数的意思,实在猜不出来,就原生不动的放着试着登录。大不了登录不进去我么可以采取上面的终极方案啊。始终记住,爬虫工程师,获取到网页提取数据才是你的重点。不要把精力耗费到破解form_data中的参数上。

3.手动将cookie保存到本地文件中,后续请求中直接读取该cookie文件即可

可能有的人就有疑问了,方式2既然能模拟登录成功,那为什么还要手动保存在本地呢,岂不是多此一举。凡事存在即合理。在爬虫过程中,我们可以手动提取cookie,或者模拟登录,但是在分布式爬虫或者多台机器同时爬取时候,如果让每台机器都要copy cookie,或者让每台机器都登录一遍,这不是明智的选择,那么只有事先将cookie保存在文件中,后续每台机器的程序从文件中读取即可。

程序和方式2的程序很相似:

import time
from fake_useragent import UserAgent
from urllib.request import Request, urlopen, HTTPCookieProcessor, build_opener, ProxyHandler
from urllib.parse import urlencode
from http.cookiejar import CookieJar, MozillaCookieJar
from time import sleep

url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp={}'


# 模拟登录
def save_cookie():
    # 1. 创建cookiejar对象
    # cookiejar = CookieJar()  # 这一种不用保存文件中,后期直接用同一个opener对象调用就行
    cookiejar = MozillaCookieJar()  # 这种方式是将cookie保存文件中
    # 2.通过cookiejar创建一个handler
    handler = HTTPCookieProcessor(cookiejar)
    # handler1 = ProxyHandler({'http': '182.101.207.11:8080'})     # 选择是否需要代理
    # 3.根据handler创建一个opener
    opener = build_opener(handler)  # 可以传递多个handler对象,如果需要代理,则将handler1也传入
    unique_time = int(time.time() * 1000)  # 生成时间戳

    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
    }

    data = {
        'email': '17795796865',
        'icode': '',
        'origURL': 'http://www.renren.com/home',
        'domain': 'renren.com',
        'key_id': '1',
        'captcha_type': 'web_login',
        # 此处密码是经过目标网站加密,不能直接放置原生密码,加密密码可以用浏览器抓包获取
        'password': '4af866303e40a11901e9677f3374bb957f905790b62a7eaa1accaf0a634764a1',
        'rkey': '1ad002b47d8446d446f8d76f5bb5ff66',
        'f': 'http%3A%2F%2Fwww.renren.com%2F974774570%2Fnewsfeed%2Fphoto'
    }

    request = Request(url=url.format(unique_time), headers=headers)
    respose = opener.open(request, data=urlencode(data).encode())
    # 创建保存可以序列化cookie的文件对象
    cookiejar.save('cookiejar.txt', ignore_discard=True, ignore_expires=True)
    print(respose.read().decode())
    print('*' * 50)


# 访问个人主页
def use_cookie():
    get_url = 'http://www.renren.com/974774570/profile'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Mobile Safari/537.36'
    }
    # 1. 创建cookiejar
    cookiejar = MozillaCookieJar()
    # 2.从本地加载cookie文件
    cookiejar.load('cookiejar.txt')
    # 3.创建handler对象
    handler = HTTPCookieProcessor(cookiejar)
    # 4.创建opener对象
    opener = build_opener(handler)
    # 5.创建request对象
    request = Request(url=get_url, headers=headers)
    # 6.发送请求
    respose = opener.open(request)
    print(respose.read().decode())


if __name__ == '__main__':
    save_cookie()
    sleep(2)
    use_cookie()

运行程序我们可以看到本地有个cookiejar.txt文件

 

 

总结

 

   不管以哪种方式,我们的终极目的是为了爬取数据,而不是花里胡哨的模拟登陆,如果模拟登陆过程中几次尝试失败,那么不妨可以直接放弃,直接以第一种方式即可。毕竟人生苦短!由于精力有限,此处就没有涉及验证码,通常大多数网站登陆几次失败后就有验证码验证。后续有机会再讲。

 

 

 

 

 

 

 

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服