Fork me on GitHub

说说最近遇到的反爬

发表于 | 分类于 
这是崔斯特的第五十八篇原创文章

爬虫与反爬 (๑• . •๑)

参数加密

参数加密指的是在请求中需要加上类似token、uuid 字段，例如在某个请求中query string parameters中有_token和uuid、customerKey等字段，

1
2
3
_token:eJyN0l9L40AQAPDvsg8+hWZ2
uuid:59851b5e-92b4-f1f5-19e2-d8148bf7e
customerKey:0356982437

解决方法

刚开始遇到这个是一脸懵逼的，验证发现有些参数不是必须的，比如uuid，uuid在维基百科上是：通用唯一识别码，估计没啥作用，python也有内置的uuid生成库 uuid — UUID objects according to RFC 4122

问了前端大佬，得知需要在js中打断点，一点点调试，最后终于解决，_token是二次加密的。

给大家看一下该网站的部分代码。看看描述：获得反爬虫的_toke

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
/**
 * 获得反爬虫的_token
 * @param {*} url 
 * @param {*} queryParams 
 */
function getRohrToken(host, queryParams) {
    if (window.Rohr_Opt && window.Rohr_Opt.reload) {
        var rohr = window.Rohr_Opt;
        var _token = '';
        var params = queryParams
        if (typeof params == 'string' && params.indexOf('_fb_=') !== -1) {
            params = ''
        }
        var queryString = toQueryString(params);
        var _url = location.protocol + host + '?' + queryString;
        try {
            _token = rohr.reload(_url) || '';
        } catch (e) {
            console.log('获取token失败:' + e)
        }
        return _token;
    };
}

关于如何调试，这里有教程，调试 JavaScript 脚本

这里还有另一种app抓包加密情况，暂时还没接触过，听过是需要反编译apk包，然后阅读代码。

登录问题

很多网站数据是登录可见，那么就必须要开发该网站的登录系统了。

登录可能会遇到的一些问题：

  1. 登录过程中遇到的验证码（下面会说）
  2. cookies持久化问题
  3. 账号被封禁问题

解决方法

  • 登录账号获得cookies后，经过一段时间，cookies就可能会失效，具体网站情况不同，这时候就必须有个脚本，来保证cookies有效

  • 账号做出一些跟正常用户不同的操作就会产生异常，别人很容易就发现。所以就让你的账号像正常人一样。

最近看到有人再问豆瓣登录采集影评导致被封号的事情，豆瓣我以前也被封过，到现在也没有解封

1
2
依据用户管理细则，此帐号已被永久停用。停用时间:2017-09-29
如有疑问，请发送邮件到help@douban.com

我的建议是：

  1. 有能力的多注册账号，账号被封了就再去注册呗
  2. 手机app抓包，app不需要登录，而且可以持续抓最新评论

图形验证码

验证码一直是反爬虫利器，从简单的数字识别，到复杂的滑动拼图、图片点选等等。有兴趣的来试试破解 网易云易盾，感觉很头疼。

解决方法

例如上图，这是我现在遇到的一种验证码情况，依次点击几个文字。

如果是自己来做的话，会考虑这样：

  1. 将验证码图片部分截图或下载回来
  2. 对图片进行OCR，提取文字
  3. 文字识别，获取坐标
  4. 使用selenium根据坐标点击

这只是初步思路，但想法很容易，做起来却没那么简单。

在Github上找到大佬写的方法 captcha_crack，知乎上也有 使用深度学习破解点击验证码

那么如果直接接入第三方打码平台来，那就会简单很多，在实际开发中为了提高准确性，更多会使用打码平台。