百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体：大 中 小 】
【太平洋科技快讯】近日，百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限，此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容，用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示，目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施，但有业内人士指出，这些方法可能只能防止大部分合法的爬虫抓取，无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容，用于AI训练。
猜你喜欢
欧洲主要股指集体收跌 德国DAX30指数跌017%
5479 赛力斯：1月新能源汽车销量368万辆 同比增长654%
5604 资金来源、对手资质存疑，奥雅股份跨界算力股价坐“过山车”
290 2024年2月18日广州江南果菜批发市场经营管理有限公司价格行情
4217 洲明科技(300232SZ)：公司智慧灯杆业务覆盖海内外各个地区，合作方主要为各领域大型企业、国企等总包方
6667 上海机场最新公告：拟53亿元回购股份
1308 崇达技术（002815）7月24日主力资金净卖出154843万元
5040 如何精确和全球性定义城市？最新观点提出以手机数据为重要手段
159 民企成中国外贸出口主力军
5178 木版年画点染人间烟火
8320 
国家队同款，就在你我身边
世贸组织总干事犀利点评美国“贸易吃亏论”：滥用自身优势的“大赢家”
宗校立：中东局势有变，对美元影响很大！
港股收盘大涨！恒生科技指数收涨308% 科网股全线大涨
“券商从业人员可以炒股”系误读 新规意在严格投资行为管理_申报_证券公司_违规
华工科技：4月30日获融资买入108亿元，占当日流入资金比例为2264%
隔夜欧美·3月19日
邦达亚洲 美国CPI表现逊于预期 美元指数刷新15个月低位
2025年5月5日广州江南果菜批发市场经营管理有限公司价格行情
养殖业：降本增效 多家养猪企业扭亏为盈
