百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体:大 中 小 】

【太平洋科技快讯】近日,百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限,此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容,用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示,目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施,但有业内人士指出,这些方法可能只能防止大部分合法的爬虫抓取,无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容,用于AI训练。

猜你喜欢

高手一万元短线炒股:用小资金撬动大收益的秘诀


凯普生物(300639SZ):截至7月10日,公司股东总户数33389户


摩根大通中国区CEO梁治文宣布退休,将于年底前完成交接


2024年2月10日全国主要批发市场淡水虾价格行情


港股IPO动态:药明合联(2268HK)处于申购期


股票金融配资:撬动财富的杠杆,亦是风险的双刃剑


一季度内需潜力加快释放 5大类消费品以旧换新销售额超5000亿元


上海立法鼓励对含糖饮料设健康提示标识 代糖有望加速取代传统蔗糖


斗鱼(DOYUUS)宣布除息日为9月3日,每ADS派976美元


能科科技:拟1500万元—3000万元回购公司股份


全国人大代表李湘平:争当石化行业不认命、不信命、不服输的“哪吒”


企业和居民需求回暖,3月信贷、社融增速加快


第六次中日经济高层对话达成二十项重要共识


部分电商平台销售翻倍,冲上热搜的冲锋衣为何销售火爆


一季度内需潜力加快释放 5大类消费品以旧换新销售额超5000亿元


欧洲主要股指集体收跌 德国DAX30指数跌017%


胖东来突发!抖音回应胖东来投诉“柴怼怼”


2025年5月5日全国主要批发市场火龙果价格行情


民企成中国外贸出口主力军


一招鲜,吃遍天,单一均线阻力进场(4)
