记抖音爬虫中所遇到的坑

开发 · 2020-01-08
取消回复
  1. lli 2022-05-25

    大哥是不是最近注册设备不能用了

    1. LiesAuer (作者)  2022-05-25
      @lli

      这个不太清楚哦,我不是用app接口采集的

  2. 肉山大魔王 2022-05-04

    大佬,爬取抖音视频需要用代理吗?为啥我使用代理后经常爬不动,不用代理反而可以。但是不用代理爬一段时间也不行了,怎么破?

    1. 肉山大魔王 2022-05-05
      @肉山大魔王

      收到。谢谢大佬的解答

    2. 肉山大魔王 2022-05-04
      @肉山大魔王

      大佬,你一般一天爬多少个视频?可能是我一天爬取太多了?app分享接口要破解js加密算法吗。。。如果太麻烦就懒得折腾了

      1. LiesAuer (作者)  2022-05-05
        @肉山大魔王

        我现在没有整天爬,但是爬的话,基本是每秒5-15个视频的速度,目前有几十万个视频的库存,到目前为止没发生过任何一次限爬,js算法用的是老的,还是有效的。

    3. LiesAuer (作者)  2022-05-04
      @肉山大魔王

      国内抖音不需要代理,我用的是app复制出来的分享接口,到现在还没遇到过不能采集问题。倒是有接口偶尔返回空数据的问题,我是通过重试解决的,如果一直重试都还是没有数据,就跳过采集。

  3. 木关子 2020-10-16

    我的like接口是网页的,不是APP里面的。能获取JSON的,但是每次获取出来都是没有视频内容

  4. 木关子 2020-10-12

    再次请教大神,网页端作品的url已经基本正常了,like列表的Json死活就是出不来,换了Sign也一样,有没有的破。。。

    1. liesauer (作者)  2020-10-13
      @木关子

      你的like接口是怎么来的,网页的还是客户端的接口?

  5. 木关子 2020-09-06

    用安卓的ua试了,出现的概率大了很多。另外,抖音V1版本时候研究过sign的函数,这次V2虽然js上有改变了一下下,貌似核心没有变,继续继续

    1. liesauer (作者)  2020-09-06
      @木关子

      试试这个?Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
      如果还是一样频繁就不知道了

  6. 木关子 2020-09-05

    弱弱问一下大神,为什么我正常app获取链接访问,也是超大概率加载不了视频列表?

    1. 木关子 2020-09-06
      @木关子

      我就正常用手机操作,就是刷不出来,不知道抖音是怎么想的

    2. liesauer (作者)  2020-09-05
      @木关子

      原因未知,目前无解,通过不断重试获取,我现在的重试次数是100,但最多的情况也就可能20-30就出来了。

      1. liesauer (作者)  2020-09-06
        @liesauer

        如果你的链接超大概率需要访问N多次,平均20+这样子,可以尝试换个ua?我就是普通的ua也没这样的情况,就偶发性的

  7. 木关子 2020-09-05

    App分享链接每一阵子就会变化,这个跟后面获取sign有关系么

    1. 木关子 2020-09-05
      @木关子

      我用app分享出来的链接,转safari访问,每次列表都加载不出来,快吐血了。刷新50次能出刷出来一次就阿弥陀佛了。我还以为是链接的原因

    2. liesauer (作者)  2020-09-05
      @木关子

      不受影响的,这个分享链接会跳转一次的,计算sign的参数就在跳转后的url里,这是和用户有关的,不会变动的

  8. xe 2020-08-13

    大佬,有项目地址吗,学习一下

    1. liesauer (作者)  2020-08-14
      @xe

      抱歉,现在接口死得太快,已经不开源了,现在我代码跑了半年多了,一点毛病都没出。

  9. 李由 2020-07-31

    想问一下您抖音话题标签的接口怎么获取啊

    1. liesauer (作者)  2020-07-31
      @李由

      手机上直接分享,然后用电脑打开,网页里面就有接口哦

  10. 抖音爬虫新手 2020-07-17

    大佬设备 怎么解决的啊?

    1. liesauer (作者)  2020-07-21
      @抖音爬虫新手

      我不是通过手机端的接口抓取的,是通过分享链接抓取网页接口的

Theme Jasmine by Kent Liao