Reddit被曝屏蔽多个搜索引擎和AI爬虫，官方称与谷歌合作无关

来源：YPS数据挖掘大师 2024-07-25 浏览：141 字号：T|T

摘要：感谢YPS行业门户系统网友菜狗、Coje_He、咩咩洋的线索投递！YPS行业门户系统7月25日消息，今年2月，谷歌宣布与Reddit达成一项新协议，Reddit数据将用于训练谷歌的AI模型，并在谷歌搜索结果中着重显示Reddit结果。彭博社报道称，这笔交易的金额约为6000万美元。从那时起，Reddit在谷歌搜索中的展示次数也大幅增加。而最新消息称，Reddit已禁止其他搜索引擎检索其网站内容。外……

　　感谢YPS行业门户系统网友菜狗、Coje_He、咩咩洋的线索投递！

　　YPS行业门户系统 7 月 25 日消息，今年 2 月，谷歌宣布与 Reddit 达成一项新协议，Reddit 数据将用于训练谷歌的 AI 模型，并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称，这笔交易的金额约为 6000 万美元。从那时起，Reddit 在谷歌搜索中的展示次数也大幅增加。

　　而最新消息称，Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为，并指出 Reddit 已更新其 robots.txt 文件（YPS行业门户系统注：网站与爬虫的协议文件），阻止所有机器人抓取网站的任何内容。

　　YPS行业门户系统查询 Reddit 网站的 robots.txt 文件获悉，该平台称“Reddit 相信开放的互联网，但不相信滥用公共内容。”其“Disallow”选项设置为“/”，也就是禁止检索网站根目录下的所有文件。

　　该文件在今年 6 月首次更新，Reddit 解释说，这一更改是由于“抓取 Reddit 内容的商业实体明显增多并且内容被滥用”。

　　外媒 9To5Google 则称，Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影响，使用“site:yuhou.cn”搜索内容时，要么不显示最新内容，要么不显示完整的网站结果。

　　不过YPS行业门户系统最新测试，Bing、DuckDuckGo 已重新显示“site:yuhou.cn”搜索内容。

　　Reddit 发言人 Tim Rathschmidt 在给 The Verge 的一份声明中表示：“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论，但无法与所有人达成协议，因为有些人无法或不愿意就他们使用 Reddit 内容（包括他们对 AI 训练的使用）作出可执行的承诺。”

关于