如何利用Python获取浏览器或Web页面Cookie的不同方法及实例代码
编辑：本站更新：2024-12-24 20:47:22人气：5082
在进行网络爬虫或者网页自动化操作时，了解并能够获取、处理浏览器的Cookies是非常关键的一环。因为 Cookies 通常用于存储用户的登录状态和其他会话数据，在很多情况下我们需要通过模拟发送带有正确 Cookie 的 HTTP 请求来实现对动态网站内容的抓取和交互。本文将详细探讨几种使用 Python 获取浏览器或 Web 页面中 Cookies 的不同方式，并辅以相应的示例代码。
**一、requests 库直接读取响应中的 cookies**
对于基于 requests 进行HTTP请求的情况，我们可以通过其内置的方法轻松获得服务器返回的cookies：
import requests
# 向指定URL发起GET请求
response = requests.get('http://example.com')
# 使用 `cookies` 属性提取cookie字典对象
received_cookies_dict = response.cookies
print(received_cookies_dict)
如果你想保存这些 cookie 并用在未来的所有同域名请求之中（即维持 session），可以创建一个 Session 对象:
s = requests.Session()
# 发起一次 GET 请求后，Session 将自动管理所有相关的 cookies
r1 = s.get('http://example.com')
# 所有后续同一域下的请求都会携带之前接收过的 cookies
r2 = s.get('http://example.com/another_page')
# 查看当前session里的cookies
all_saved_cookies = dict(s.cookies)
for key, value in all_saved_cookies.items():
print(f"{key}: {value}")
**二、Selenium 模拟真实用户行为捕获 browser cookies**
如果你需要与JavaScript渲染后的页面打交道，或者是实时跟踪浏览过程中的 cookie 变化，则可借助 Selenium 自动化测试工具库去操控真实的浏览器环境收集 cookies :
from selenium import webdriver
# 创建一个新的 Firefox 浏览器实例
driver = webdriver.Firefox()
# 访问特定网址
driver.get("https://www.example.com")
# 获得该页面加载完成后浏览器内的全部 cookies
browser_cookies_list = driver.get_cookies()
for cookie_item in browser_cookies_list:
print(cookie_item['name'], ":", cookie_item['value'])
# 在完成任务之后记得关闭驱动程序释放资源
driver.quit()
**三、从 Chrome/Firefox 等浏览器实际缓存文件(.json) 中解析 cookies**
某些场景下可能还需要分析已存在的本地浏览器缓存在磁盘上的 cookies 数据。例如 Chromium 内核系列浏览器如 Google Chrome 和 Microsoft Edge 存储了名为 'Login Data' 或者 'Network Persistent State' 文件存放加密形式的 cookies ，我们可以结合第三方解密模块 chrome_cookie 解析这类文件：
请注意：由于涉及隐私以及潜在的安全风险，请确保你有权访问且合理合法地对待此类敏感信息。
import sqlite3
import json
from Crypto.Cipher import AES # 需要安装 pycryptodomex 包支持AES加解密功能
def decrypt_chrome_cookies(data):
... # 此处省略具体的解密逻辑，涉及到Chrome特有的加密算法
with open('/path/to/YOUR_Chromium_Browser_Cookie_File', 'rb') as f:
encrypted_data = f.read()
decrypted_json_str = decrypt_chrome_cookies(encrypted_data.decode())
decoded_cookies = json.loads(decrypted_json_str)
for site_cookies in decoded_cookies.values():
for single_cookie in site_cookies:
print(single_cookie["name"],":",single_cookie["value"])
总结来说，依据不同的应用场景和技术需求，上述三种途径分别展示了如何运用 Python 直接从HTTP 响应头、活体浏览器进程或是物理硬盘上浏览器的数据文件中有效地获取到所需的 Cookies 。理解并且熟练应用以上方法无疑能为我们的 web 开发工作特别是爬虫编写带来极大便利性。
**一、requests 库直接读取响应中的 cookies**
对于基于 requests 进行HTTP请求的情况，我们可以通过其内置的方法轻松获得服务器返回的cookies：
python
import requests
# 向指定URL发起GET请求
response = requests.get('http://example.com')
# 使用 `cookies` 属性提取cookie字典对象
received_cookies_dict = response.cookies
print(received_cookies_dict)
如果你想保存这些 cookie 并用在未来的所有同域名请求之中（即维持 session），可以创建一个 Session 对象:
python
s = requests.Session()
# 发起一次 GET 请求后，Session 将自动管理所有相关的 cookies
r1 = s.get('http://example.com')
# 所有后续同一域下的请求都会携带之前接收过的 cookies
r2 = s.get('http://example.com/another_page')
# 查看当前session里的cookies
all_saved_cookies = dict(s.cookies)
for key, value in all_saved_cookies.items():
print(f"{key}: {value}")
**二、Selenium 模拟真实用户行为捕获 browser cookies**
如果你需要与JavaScript渲染后的页面打交道，或者是实时跟踪浏览过程中的 cookie 变化，则可借助 Selenium 自动化测试工具库去操控真实的浏览器环境收集 cookies :
python
from selenium import webdriver
# 创建一个新的 Firefox 浏览器实例
driver = webdriver.Firefox()
# 访问特定网址
driver.get("https://www.example.com")
# 获得该页面加载完成后浏览器内的全部 cookies
browser_cookies_list = driver.get_cookies()
for cookie_item in browser_cookies_list:
print(cookie_item['name'], ":", cookie_item['value'])
# 在完成任务之后记得关闭驱动程序释放资源
driver.quit()
**三、从 Chrome/Firefox 等浏览器实际缓存文件(.json) 中解析 cookies**
某些场景下可能还需要分析已存在的本地浏览器缓存在磁盘上的 cookies 数据。例如 Chromium 内核系列浏览器如 Google Chrome 和 Microsoft Edge 存储了名为 'Login Data' 或者 'Network Persistent State' 文件存放加密形式的 cookies ，我们可以结合第三方解密模块 chrome_cookie 解析这类文件：
请注意：由于涉及隐私以及潜在的安全风险，请确保你有权访问且合理合法地对待此类敏感信息。
python
import sqlite3
import json
from Crypto.Cipher import AES # 需要安装 pycryptodomex 包支持AES加解密功能
def decrypt_chrome_cookies(data):
... # 此处省略具体的解密逻辑，涉及到Chrome特有的加密算法
with open('/path/to/YOUR_Chromium_Browser_Cookie_File', 'rb') as f:
encrypted_data = f.read()
decrypted_json_str = decrypt_chrome_cookies(encrypted_data.decode())
decoded_cookies = json.loads(decrypted_json_str)
for site_cookies in decoded_cookies.values():
for single_cookie in site_cookies:
print(single_cookie["name"],":",single_cookie["value"])
总结来说，依据不同的应用场景和技术需求，上述三种途径分别展示了如何运用 Python 直接从HTTP 响应头、活体浏览器进程或是物理硬盘上浏览器的数据文件中有效地获取到所需的 Cookies 。理解并且熟练应用以上方法无疑能为我们的 web 开发工作特别是爬虫编写带来极大便利性。
www.php580.com PHP工作室 - 全面的PHP教程、实例、框架与实战资源
PHP学习网是专注于PHP技术学习的一站式在线平台，提供丰富全面的PHP教程、深入浅出的实例解析、主流PHP框架详解及实战应用，并涵盖PHP面试指南、最新资讯和活跃的PHP开发者社区。无论您是初学者还是进阶者，这里都有助于提升您的PHP编程技能。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。