爬虫工程师面试题
拼多多爬虫工程师面试题
电话面：
- http协议、tcp协议(几次握手)
- top命令
- Linux/Mac 下虚拟内存（Swap）
- 线程、进程、协程
- Async 相关、事件驱动相关
- 阻塞、非阻塞
- Python GIL
- 布隆过滤器原理：如何实现、一般要几次哈希函数
给我留下了一个作业：抓取天猫超市上某些商品的可以配送省份信息。（当时做这个也花了很久，主要是需要解决PC端的登陆问题，后来通过h5接口）
现场面（3小时）：
一面（技术）：
一面是之前电话面的，主要问了之前布置的作业相关
- 问了下之前留给我的作业，各种详细的细节，每一步怎么做的，遇到了哪些问题，自己是怎么解决的
- 说了下淘宝登陆的两种方法，自己写的一些中间件
- 还问了些之前的项目细节，爬虫资源配置怎么做的
- 就我简历上的东西问了下底层的东西：线程与进程，协程用的Linux底层的是什么技术，事件驱动，MySQL的索引底层是什么，查询怎么做的等等。（这些问题都不知道）
- 验证码如何处理，TensorFlow训练成功率多少
- redis快的原因是什么，底层原因，你平常用到了哪些数据结构
- 逆向是怎么学的，该怎么做，做过的项目，解决的签名
- 爬虫失败之后的重试是如何处理的，有没有针对具体的失败去做针对性的报警和重试
二面（技术）：
二面感觉是做爬虫的，挑了两个项目问其中的细节。说项目遇到了两个问题，我是怎么解决的，当时解释这个项目时花了很久。
还问了有没有阅读国内爬虫大厂、搜索引擎等开源的爬虫框架、思想之类的。这个好像真没了解，也没看到有谁会写这个。
三面（小组长）：
三面人感觉很和善，爱笑。后来通过HR了解到是这个团队的组长，从腾讯微信挖来的。
- 他主要问了一个问题，给我一个数据抓取场景，让我设计一套数据抓取流程。我按着自己的思路画了出来，然后他会提出一些新需求，我按照他的意思在原有的爬虫系统上改进。
- 之后提的一个新需求我并没有回答好，但是他当时说：没事，已经回答的很好了。我心里想，leader很nice。
- 最后他介绍了他们团队目前正在做的事情，爬虫框架其实已经搭起来了，只是会有些粗糙，还需要有人来改进
四面（HR面）：
- 问了些基本情况，期望薪资，在上家公司什么情况
- 说了下拼多多的福利啊什么的，包三餐，新员工可以住宿舍一年
- 说了下加班时间，11116，节假日也会加班
- 问现在有没有面其他公司，说了Airbnb
到这里已经面试完毕了，从1点到4点，整个人累到虚脱，5点回杭州的票，然后马上就赶回去了。有点想吐槽，拼多多的工位真的很挤，显示屏幕也小。
后天另一位HR联系我，需要核实信息，然后就准备了一些材料给他，说技术面已经通过了。
过了大约一周的时间，正式收到offer，预计7月1日入职
👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏👏
网易爬虫工程师面试
网易的面试是小黑鱼这边的leader内推的，但是HR直接打电话约的周一面试，没有电话面。
一面（技术）：
一面与之前小黑鱼的同事认识，他也听过我的名字（从前同事）。问的东西比较广泛。
- 问项目，之前公司的业务
- 在小黑鱼这边做的事情，框架是怎么做的，实现了什么功能
- scrapy会用到哪些中间件，各个中间件有什么功能，我说其中很多的中间件我都没用到 (ㄒoㄒ)
- Python的基础语法知识，有些我也不知道，靠语感
- 问了些websocket项目，是怎么找到协议的
- 验证码如何处理，TensorFlow训练成功率多少
- wireshark报文如何查看
- 逆向是怎么学的，该怎么做，做过的项目，解决的签名
- 给我出了一道题目，关于JS混淆的。刚开始没有头目，后来他告诉我要怎么做，才慢慢找到方法。
二面（技术）：
二面应该是leader，问题很直接。
- 用到了哪些linux命令，全写下来。我刚开始写了几个，他说太少了，让我再写几个，最后写了十几个
- 就我上面写到的命令问了下具体细节，比如crontab命令报错了可能有哪些原因
- 出了一道算法题，最终就是写排序算法
- 问了下我的基本情况，在小黑鱼这边怎么样
三面（HR面）：
两个HR，一男一女，问题问的我很崩溃。说这周给结果。
网易面试是从下午2点到5点，3小时，中间都没口水喝。
想要与我交流爬虫面试技巧，请到这里：爬虫面试交流