记抖音爬虫中所遇到的坑 作者: liesauer 时间: 2020-01-08 分类: 开发 ## 常规问题 一些常规问题在此就不做记录了，比如怎么获取某加密参数、需要访问哪些接口、哪些接口无水印等等就不说了，善用搜索引擎。 ## 坑一：判断接口是否成功 由于接口的原因，接口返回的`aweme_list`列表有可能是空的且`status_code`还为`0`，不能通过这两个数据判断接口是否调用成功，可使用`min_cursor`和`max_cursor`判断，当请求成功时，返回的数据必有这两个字段，必然不是`null`或者`undefined`。 ## 坑二：判断是否还有更多 还是接口的问题，当请求失败时，返回的`has_more`还是为`true`，需要通过判断接口是否成功以及`has_more`共同判断，调用成功并且`has_more`为`true`才是真正的还有更多，否则稍有不慎就会出现死循环抓取。 <!--more--> ## 坑三：视频列表请求经常性返回空 `_signature`问题，可适当使用循环重复请求，并在请求失败时重新生成`_signature`然后重试。 ## 坑四：视频长度为0（某些CDN不支持设备过旧的User-Agent导致） 在抓取过程中发现有的视频抓取下来，长度为0，经排查发现有的CDN居然不认`User-Agent`，导致没有获取到视频，经过研究，拼接出一条万用移动端`User-Agent`，使用后无发现问题。这条`User-Agent`包含了较新的`iOS`以及`android`信息，~~可被所有CDN识别~~（已更新）。 ``` Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1 ``` ## 坑五：长视频下载宽带不够，导致大量请求失败 当并发较高且宽带不大时会导致大量请求超时失败，一个长视频大小普遍在`50MB~100MB`左右，如果出现较频繁的超时现象，建议适当加长超时时间以及重试次数。 经过优化以上问题后，视频抓取成功率已成功达到`100%`，且运行多天稳定，无异常。 ## 更新 ### 2020-1-18 1. 万用UA更新 请将`${RANDOM_STRING}`替换成任意长度随机字符串 ``` Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_3 like Mac OS X; Linux; Android 8.0; Pixel 4 Build/NOBUILD; Nexus 10 Build/N4F26I; Nexus 4 Build/NOBUILD; ${RANDOM_STRING}) AppleWebKit/605.1.15 (KHTML, like Gecko) Chrome/34.0.1847.114 Mobile/14G60 Safari/604.1 ``` ### 2020-02-01 1. 出现大量采集失败，失败的大部分是新视频，具体表现为UA正常，但视频无法正常下载，高频率重试后小概率可以下载，更换域名后有好转但仍有大量失败，建议程序加入失败数据记录，等下次断点续爬时尝试重新抓取，直到抓取成功。 ### 2020-06-07 1. 可采集挑战视频 2. 修复已删除视频抓取逻辑问题 标签: none