记抖音爬虫中所遇到的坑 作者: liesauer 时间: 2020-01-08 分类: 开发 ## 常规问题 一些常规问题在此就不做记录了，比如怎么获取某加密参数、需要访问哪些接口、哪些接口无水印等等就不说了，善用搜索引擎。 ## 坑一：判断接口是否成功 由于接口的原因，接口返回的`aweme_list`列表有可能是空的且`status_code`还为`0`，不能通过这两个数据判断接口是否调用成功，可使用`min_cursor`和`max_cursor`判断，当请求成功时，返回的数据必有这两个字段，必然不是`null`或者`undefined`。 ## 坑二：判断是否还有更多 还是接口的问题，当请求失败时，返回的`has_more`还是为`true`，需要通过判断接口是否成功以及`has_more`共同判断，调用成功并且`has_more`为`true`才是真正的还有更多，否则稍有不慎就会出现死循环抓取。 <!--more--> ## 坑三：视频列表请求经常性返回空 `_signature`问题，可适当使用循环重复请求，并在请求失败时重新生成`_signature`然后重试。 ## 坑四：视频长度为0（某些CDN不支持设备过旧的User-Agent导致） 在抓取过程中发现有的视频抓取下来，长度为0，经排查发现有的CDN居然不认`User-Agent`，导致没有获取到视频，经过研究，拼接出一条万用移动端`User-Agent`，使用后无发现问题。这条`User-Agent`包含了较新的`iOS`以及`android`信息，~~可被所有CDN识别~~（已更新）。 ``` Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1 ``` ## 坑五：长视频下载宽带不够，导致大量请求失败 当并发较高且宽带不大时会导致大量请求超时失败，一个长视频大小普遍在`50MB~100MB`左右，如果出现较频繁的超时现象，建议适当加长超时时间以及重试次数。 经过优化以上问题后，视频抓取成功率已成功达到`100%`，且运行多天稳定，无异常。 ## 更新 ### 2020-1-18 1. 万用UA更新 请将`${RANDOM_STRING}`替换成任意长度随机字符串 ``` Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 4 Build/NOBUILD; Nexus 10 Build/N4F26I; Nexus 4 Build/NOBUILD; ${RANDOM_STRING}) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1 ``` ### 2020-02-01 1. 出现大量采集失败，失败的大部分是新视频，具体表现为UA正常，但视频无法正常下载，高频率重试后小概率可以下载，更换域名后有好转但仍有大量失败，建议程序加入失败数据记录，等下次断点续爬时尝试重新抓取，直到抓取成功。 ### 2020-06-07 1. 可采集挑战视频 2. 修复已删除视频抓取逻辑问题 ### 2020-07-11 1. 修复采集挑战视频失败的问题 2. 可采集原声视频 标签: none
用安卓的ua试了，出现的概率大了很多。另外，抖音V1版本时候研究过sign的函数，这次V2虽然js上有改变了一下下，貌似核心没有变，继续继续
试试这个？Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
如果还是一样频繁就不知道了
弱弱问一下大神，为什么我正常app获取链接访问，也是超大概率加载不了视频列表？
我就正常用手机操作，就是刷不出来，不知道抖音是怎么想的
如果你的链接超大概率需要访问N多次，平均20+这样子，可以尝试换个ua？我就是普通的ua也没这样的情况，就偶发性的
原因未知，目前无解，通过不断重试获取，我现在的重试次数是100，但最多的情况也就可能20-30就出来了。
App分享链接每一阵子就会变化，这个跟后面获取sign有关系么
我用app分享出来的链接，转safari访问，每次列表都加载不出来，快吐血了。刷新50次能出刷出来一次就阿弥陀佛了。我还以为是链接的原因
不受影响的，这个分享链接会跳转一次的，计算sign的参数就在跳转后的url里，这是和用户有关的，不会变动的
大佬，有项目地址吗，学习一下
抱歉，现在接口死得太快，已经不开源了，现在我代码跑了半年多了，一点毛病都没出。
想问一下您抖音话题标签的接口怎么获取啊
手机上直接分享，然后用电脑打开，网页里面就有接口哦
大佬设备 怎么解决的啊？
我不是通过手机端的接口抓取的，是通过分享链接抓取网页接口的