记抖音爬虫中所遇到的坑 作者: liesauer 时间: 2020-01-08 分类: 开发 18 条评论 ## 常规问题 一些常规问题在此就不做记录了，比如怎么获取某加密参数、需要访问哪些接口、哪些接口无水印等等就不说了，善用搜索引擎。 ## 坑一：判断接口是否成功 由于接口的原因，接口返回的`aweme_list`列表有可能是空的且`status_code`还为`0`，不能通过这两个数据判断接口是否调用成功，可使用`min_cursor`和`max_cursor`判断，当请求成功时，返回的数据必有这两个字段，必然不是`null`或者`undefined`。 ## 坑二：判断是否还有更多 还是接口的问题，当请求失败时，返回的`has_more`还是为`true`，需要通过判断接口是否成功以及`has_more`共同判断，调用成功并且`has_more`为`true`才是真正的还有更多，否则稍有不慎就会出现死循环抓取。 - 阅读剩余部分 -
axios较完美的超时以及重试失败解决方案 作者: liesauer 时间: 2020-01-06 分类: 开发 评论 ## 代码引用 1. [Retry Solution From KyleRoss@github](https://github.com/axios/axios/issues/164#issuecomment-327837467 "Retry Solution From KyleRoss@github") 2. [Timeout Solution From aarcangeli@github](https://github.com/axios/axios/issues/2143#issuecomment-495994940 "Timeout Solution From aarcangeli@github") ## axios 的 retry 解决方案 见：[Retry Solution From KyleRoss@github](https://github.com/axios/axios/issues/164#issuecomment-327837467 "Retry Solution From KyleRoss@github") ## axios 的 timeout 问题 在`0.18.0`版本中`axios`的`timeout`并没有被正确实现导致有可能在弱网环境或不稳定环境或代理环境下`timeout`无效、程序卡住的情况（见：[Axios will not timeout on idle sockets](https://github.com/axios/axios/issues/2143 "Axios will not timeout on idle sockets")），虽然这问题在`0.19.0`版本中修复了，但是`0.19.0`版本中对配置合并的规则的阻断性更新导致我们的重试失败解决方案失效（见：[Axios 0.19.0 issue](https://github.com/axios/axios/issues/2397 "Axios 0.19.0 issue")），所以我们无法升级到`0.19.0`来解决这个问题。 - 阅读剩余部分 -
为 Python 项目生成 requirements.txt 以及使用 作者: liesauer 时间: 2019-12-13 分类: 开发 评论 # requirements.txt 的作用 `requirements.txt`就如同其他语言项目中的`package.json`或`package.lock`等，用于记录该项目的基本信息以及对第三方库的依赖信息，当我们项目在别的地方进行开发时，我们就能根据这些信息安装所需要的第三方库，并且精确到具体版本，而不会出现依赖库不存在导致编译失败或运行失败的情况，也不会因为安装了较新版本而出现与开发环境不一致而出现向下兼容等问题。 - 阅读剩余部分 -
Mac下MySQL错误排查：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 作者: liesauer 时间: 2019-10-06 分类: 开发 评论 ## 起因 原本已经装上的`5.7`版本是正常运行的，后来因为项目的需要，需要换个版本做测试，于是乎就使用`brew`安装了`8.0`版本的MySQL，然后启动后一连接就傻眼了，提示 ``` ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) ``` ## 查错 - 阅读剩余部分 -
如何正确地使用/更换Composer镜像 作者: liesauer 时间: 2019-09-26 分类: 开发 评论 ## 使用/更换镜像 全局（推荐） ```shell composer config -g repo.packagist composer https://xxx.com/composer/ ``` 项目 ```shell composer config repo.packagist composer https://xxx.com/composer/ ``` 取消镜像 ```shell 全局 composer config -g --unset repos.packagist 项目 composer config --unset repos.packagist ``` ## 查看当前镜像 ```shell composer config repositories ``` 输出以下信息 ``` {"packagist.org":{"type":"composer","url":"https:\/\/mirrors.aliyun.com\/composer\/"}} ``` 表示我已成功使用阿里云的镜像 - 阅读剩余部分 -