Fork me on GitHub

说说最近遇到的反爬

这是崔斯特的第五十八篇原创文章

爬虫与反爬 (๑• . •๑)

参数加密

参数加密指的是在请求中需要加上类似tokenuuid 字段,例如在某个请求中query string parameters中有_tokenuuidcustomerKey等字段,

1
2
3
_token:eJyN0l9L40AQAPDvsg8+hWZ2
uuid:59851b5e-92b4-f1f5-19e2-d8148bf7e
customerKey:0356982437

解决方法

刚开始遇到这个是一脸懵逼的,验证发现有些参数不是必须的,比如uuiduuid在维基百科上是:通用唯一识别码,估计没啥作用,python也有内置的uuid生成库 uuid — UUID objects according to RFC 4122

问了前端大佬,得知需要在js中打断点,一点点调试,最后终于解决,_token是二次加密的。

给大家看一下该网站的部分代码。看看描述:获得反爬虫的_toke

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
/**
* 获得反爬虫的_token
* @param {*} url
* @param {*} queryParams
*/
function getRohrToken(host, queryParams) {
if (window.Rohr_Opt && window.Rohr_Opt.reload) {
var rohr = window.Rohr_Opt;
var _token = '';
var params = queryParams
if (typeof params == 'string' && params.indexOf('_fb_=') !== -1) {
params = ''
}
var queryString = toQueryString(params);
var _url = location.protocol + host + '?' + queryString;
try {
_token = rohr.reload(_url) || '';
} catch (e) {
console.log('获取token失败:' + e)
}
return _token;
};
}

关于如何调试,这里有教程,调试 JavaScript 脚本

这里还有另一种app抓包加密情况,暂时还没接触过,听过是需要反编译apk包,然后阅读代码。

登录问题

很多网站数据是登录可见,那么就必须要开发该网站的登录系统了。

登录可能会遇到的一些问题:

  1. 登录过程中遇到的验证码(下面会说)
  2. cookies持久化问题
  3. 账号被封禁问题

解决方法

  • 登录账号获得cookies后,经过一段时间,cookies就可能会失效,具体网站情况不同,这时候就必须有个脚本,来保证cookies有效

  • 账号做出一些跟正常用户不同的操作就会产生异常,别人很容易就发现。所以就让你的账号像正常人一样。

最近看到有人再问豆瓣登录采集影评导致被封号的事情,豆瓣我以前也被封过,到现在也没有解封

1
2
依据用户管理细则,此帐号已被永久停用。停用时间:2017-09-29
如有疑问,请发送邮件到help@douban.com

我的建议是:

  1. 有能力的多注册账号,账号被封了就再去注册呗
  2. 手机app抓包,app不需要登录,而且可以持续抓最新评论

图形验证码

验证码一直是反爬虫利器,从简单的数字识别,到复杂的滑动拼图、图片点选等等。有兴趣的来试试破解 网易云易盾,感觉很头疼。

解决方法

例如上图,这是我现在遇到的一种验证码情况,依次点击几个文字。

如果是自己来做的话,会考虑这样:

  1. 将验证码图片部分截图或下载回来
  2. 对图片进行OCR,提取文字
  3. 文字识别,获取坐标
  4. 使用selenium根据坐标点击

这只是初步思路,但想法很容易,做起来却没那么简单。

在Github上找到大佬写的方法 captcha_crack,知乎上也有 使用深度学习破解点击验证码

那么如果直接接入第三方打码平台来,那就会简单很多,在实际开发中为了提高准确性,更多会使用打码平台。

本文标题:说说最近遇到的反爬

文章作者:小歪

发布时间:2018年07月10日 - 23:07

最后更新:2018年07月10日 - 23:07

原始链接:https://zhangslob.github.io/2018/07/10/说说最近遇到的反爬/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

小歪 wechat
欢迎您扫一扫上面的微信公众号,订阅我的博客!
打发点咯!嘤嘤嘤