不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容 – 蓝点网
8 月 7 日 OPENAI 公布自己的不想被OI白报网互联网爬虫 GPTBot，该爬虫是嫖纽爬虫 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，站封站内不过也有些网站并不想给 OPENAI 白嫖，禁止图瓦卢whatsapp产号系统所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取网
比如知名新闻媒体《纽约时报》就在网站上封禁 GPTBot，容蓝图瓦卢whatsapp超级号禁止该爬虫访问纽约时报网站的点网任何内容，包括首页信息摘要等。不想被OI白报网
互联网档案馆的嫖纽爬虫存档显示，纽约时报大约是站封站内在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止时候纽约时报则修改了服务条款，明确禁止任何公司抓取其内容用来训练人工智能模型，其抓取网所以之后修改 robots.txt 协议禁止 GPTBot 也倒是容蓝图瓦卢whatsapp产号系统可以理解。
纽约时报与 OPENAI 矛盾还是点网挺深的，上个月纽约时报就表示正在考虑对 OPENAI 提起法律诉讼，不想被OI白报网因为 OPENAI 侵犯了纽约时报的图瓦卢whatsapp无限群发版权。还有两名作者也在 7 月起诉了 OPENAI，因为 OPENAI 拿他们的作品训练 GPT 模型。
对于修改 robots.txt 阻止 OPENAI 抓爬这事儿，图瓦卢ws无限群发纽约时报拒绝置评，OPENAI 则没有回复置评请求。
最后：如果你也想控制 GPTBot 的抓爬，可以在你网站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允许 GPTBot 抓取一部分内容。
具体操作方法请看：如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段
相关文章：
- 《机器姬》导演可骇新片《们》中文预报 女子村降遇恶梦
- 《植物办理员》现已登岸Steam 尾收特惠29元
- 彩电市场销售滞缓，彩电品牌布局厨电行业
- NEOWIZ卡片计谋RPG《三重胡念》STEAM版本上市
- 厦门市超游支散科技股分有限公司确认参展2019ChinaJoyBTOB！
- 海信叠屏电视U9发布意义重大 重新定义LCD电视
- 《脱越前圆》足游逝世化3.0新版本本日公布 新舆图新角色强势去袭
- 下能节：《鬼哭岭》公布齐新预报 本年农历鬼月出售
- 百变中型任您挑 《吞星》足游兴趣坐骑体系暴光
- 《PUI PUI 天竺鼠车车 一起去！天竺鼠车车派对！》战役按期票赛季“天竺鼠盃”掀幕 同步公开齐新付费新删内容