百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体：大 中 小 】
【太平洋科技快讯】近日，百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限，此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容，用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示，目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施，但有业内人士指出，这些方法可能只能防止大部分合法的爬虫抓取，无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容，用于AI训练。
猜你喜欢
格力电器获得实用新型专利授权：“一种矿用防爆高效冷却塔装置”
9936 世界上到底有多少瓶82年拉菲？为何38年还没喝完？结果出人意料
5897 第六次中日经济高层对话达成二十项重要共识
366 新 希 望获得实用新型专利授权：“一种非洲猪瘟气溶胶的主动捕捉装置”
4392 股票融资利率怎么算？(股票融资利率计算方法详解)
3059 房地美：美国上周30年期按揭贷款利率降至663% 创2023年10月份以来最大单周升幅
294 上海立法鼓励对含糖饮料设健康提示标识 代糖有望加速取代传统蔗糖
320 国家队同款，就在你我身边
4449 碧生源(00926)将于9月23日派发中期股息每股09港元
4777 黄金突然大涨的原因在这！这则重磅消息刺激金价突破2410 如何交易黄金？
1662 
4月1日基金净值：交银经济新动力混合A最新净值29037，跌023%
COMEX黄金期货下跌219%，报32469美元盎司
Google将在亚太等地推出谷歌创业加速器：循环经济项目
港股市场迎来大变化！小米股价创历史新高
互联网是种彻底的噪音，记者是记录真相还是噪音？
国家队同款，就在你我身边
世贸组织总干事犀利点评美国“贸易吃亏论”：滥用自身优势的“大赢家”
宗校立：中东局势有变，对美元影响很大！
港股收盘大涨！恒生科技指数收涨308% 科网股全线大涨
“券商从业人员可以炒股”系误读 新规意在严格投资行为管理_申报_证券公司_违规
