保持IP/切换IP
适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。
:::tip[保持IP不变]
如果用户需要多个请求在维持一个IP,比如:需要登录,获取数据两个请求在一个IP下,只需保证该组请求在一个TCP(Keep-Alive)会话下, 该组请求在代理有效期内使用相同的代理IP。
:::
:::warning[HTTPS]
使用爬虫代理访问HTTPS网站时,HTTPS协议默认开启KeepAlive,同一个Session(HTTPS会话)代理IP不变。 如需要每个请求强制切换IP,可以设置Proxy-Connection: Close和Connection: Close
:::
:::warning[Session]
请注意部分库使用了连接池技术,会始终保持一个TCP链接池实现链接复用,如需要每个请求强制切换IP,请关闭库的连接池功能。
:::
- 爬虫程序可以通过设置HTTP头Proxy-Tunnel: 随机数, 当随机数相同时,访问目标网站的代理IP相同。
:::info[例如]
需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,例如:Proxy-Tunnel: 12345, 该组请求在代理有效期内使用相同的代理IP。
:::
:::warning[注意]
同一时间不同请求组可以设置不同Proxy-Tunnel: 随机数,并发完成数据爬取。
:::
:::info[使用相同IP访问HTTPS目标网站]
因为代理对HTTPS请求采用connect模式,请确保connect请求时候就发送Proxy-Tunnel头,有些库封装比较高层次,请务必确认向代理发送了该HTTP头。
使用Connection: keep-alive和Proxy-Connection: keep-alive方式访问目标网站,代理会确保在一个会话中的所有请求都通过一个IP到达目标网站
:::
最后修改时间: 2 个月前