TeleMediaSpider - Telegram 频道资源爬虫

开发 · 06-08
TeleSpider Telegram spider gramjs downloader 爬虫 纸飞机
如果您觉得文章或项目对您有帮助,戳我请博主喝一杯咖啡叭!
  1. Miller 前天

    最好再多加一个查漏补缺的功能(捂脸(/ω\)),因为抓取了3天才下载完,只差一百多张,但是不知道是差了哪些id,应该是有的格式没包含,比如gif之类的,不过刚好抓取的频道里只有几张gif,可以单独下,媒体里缺少了一些图片和视频应该。

    1. LiesAuer (作者)  前天
      @Miller

      这个可以加入重爬功能,已经下载的资源就跳过

  2. Miller 前天

    大佬,好像不会爬取jpeg文件,图片和视频数量对不上,是不是图片和视频的格式没有全部包含,怎么样增加抓取格式呢,跪求大佬更新下有效值的抓取格式所包含范围。

    1. LiesAuer (作者)  前天
      @Miller

      目前是按照gram.js这个库解析抓取的,消息字段会存在image对象,按道理jpeg也是支持的,能找到缺了哪些图片吗,不然不好测

  3. cola 前天

    大佬,可以爬取电报频道的评论内容嘛

    1. LiesAuer (作者)  前天
      @cola

      可以做到,但目前没有这个功能

  4. Miller 5 天前

    https://img13.chkaja.com/files/20241008/6e480579763dc720.png
    在TeleMediaSpider-win所在文件夹打开Windows PowerShell也不能成功执行命令,肿么办,T T
    求大佬教一下,怎么正确执行。

    1. Miller 5 天前
      @Miller

      不执行命令的话频道页面是空的

    2. LiesAuer (作者)  5 天前
      @Miller

      你的程序是什么名字就输入什么名字,因为你下载下来的文件名叫“TeleMediaSpider-win”,所以在windows下,正确的执行命令是“./TeleMediaSpider-win.exe --list”。

      1. Miller 5 天前
        @LiesAuer

        大佬我终于会了,用cmd命令cd /d G:\cco,感谢大佬指点!

      2. Miller 5 天前
        @LiesAuer

        https://img13.chkaja.com/files/20241008/26bdf943631af1af.png
        我按照TeleMediaSpider-win.exe --list的写法还是不可以,呜呜

        1. LiesAuer (作者)  5 天前
          @Miller

          要输入“./TeleMediaSpider-win.exe --list”,你前面没输完整,这个不能漏的,这是PowerShell的用法。

  5. zzu 13 天前

    有个报错
    [2024-09-30T11:39:13.845]
    [INFO]
    Running gramJS version 2.23.9
    [2024-09-30T11:39:13.855]
    [INFO]
    Connecting to 149.154.175.54:80/TCPFu11...
    [2024-09-30T11:39:13.871]
    [INFO]
    Connection to 149.154.175.54:80/TCPFu11 complete!
    [2024-09-30T11:39:13.872]
    [INFO]
    Using LAYER 184 for initial connect
    [2024-09-30T11:39:18.871]
    [INFO]
    connection closed
    [2024-09-30T11:39:18.872]
    [WARN]- Connection closed while receiving data
    Error: Not connected
    at ConnectionTCPFu11.recv(C:\snapshot\Te1eMediaSpider\node_modules\te1egram\network\connection\Connection.js:71:15)
    at async MTProtoSender.recvLoop (C:\snapshot\Te1eMediaSpider\node_modules\te1egram\network\MTProtoSender.js:365:24)
    [2024-09-30T11:39:19.890]
    [INF0]

    Started reconnecting
    [2024-09-30T11:39:19.891]
    [WARN]
    [Reconnect] Closing current connection...
    [2024-09-30T11:39:19.892]
    [INFO]Disconnecting from 149.154. 175.54:80/TCPFu11...
    [2024-09-30T11:39:19.894]
    [INFO]
    Connecting to 149.154.175.54:80/TCPFu11...
    [2024-09-30T11:39:19.897]
    [INFO]
    Connection to 149.154.175.54:80/TCPFu11 complete!
    [2024-09-30T11:39:19.899]
    [INFO]Handling reconnect!
    1. LiesAuer (作者)  13 天前
      @zzu

      这个应该是梯子问题吧,库自带重连的,问题不大。

  6. zzu 13 天前

    https://img.chkaja.com/258a8713265ef0b3.jpg

    登录后卡在这里 命令输入也没有反应 是打开方式不对吗

    1. LiesAuer (作者)  13 天前
      @zzu

      终端输入TeleMediaSpider --list也是没有任何反应嘛?我前两天也发现会有个别频道会导致GetChannels接口无限卡住,目前还没查到什么原因。

      1. zzu 12 天前
        @LiesAuer

        输入不了内容 用调试模式运行的话 控制台像是一直在刷新

        1. LiesAuer (作者)  7 天前
          @zzu

          TeleMediaSpider --list是终端运行的,正常爬虫运行后是无法输入任何东西的。

  7. MIX 16 天前

    都配置好了之后开始爬取始终不显示文件,终端中的列表为空是什么问题呢,大佬方便帮忙解答一下吗,我这边的频道id是-100开头的是正确的吗

    1. oo 14 天前
      @MIX

      吧-去掉吧应该要

      1. LiesAuer (作者)  13 天前
        @oo

        负的一般是机器人拿到的id

    2. LiesAuer (作者)  16 天前
      @MIX

      tg是有负id的,但是频道id我还没见到过负的,这个可能得看下什么情况

  8. 马克一下,感觉正好需要这个爬虫。哈哈

Theme Jasmine by Kent Liao