百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体:大 中 小 】

【太平洋科技快讯】近日,百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限,此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容,用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示,目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施,但有业内人士指出,这些方法可能只能防止大部分合法的爬虫抓取,无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容,用于AI训练。
猜你喜欢
正规股票配资平台排名:选对杠杆,稳住收益!
4636
互联网配资开户:撬动财富杠杆,稳步致富之路?
5713
上半年非上市寿险公司退保率出炉,有这些新变化
6836
2月20日基金净值:浦银安盛普裕一年定开债券最新净值10368,涨009%
7351
福建平潭国际邮轮航线启动以来出入境旅客逾万人次
5236
政策、业绩双驱动!充电桩龙头纷纷涨停,汽车产业链集体反弹,这些股频获北向增持
4614
债市收盘2025年国债发行安排出炉,50年国债下个月将迎来首发
3083
城市房地产融资协调机制落地,银行怎么干?
8469
任泽平:怀念宗庆后,亦是对民营经济贡献的认可
9252
机构对中国资产好感度骤增,半数已开始建仓
1939
4月1日基金净值:交银经济新动力混合A最新净值29037,跌023%
COMEX黄金期货下跌219%,报32469美元盎司
Google将在亚太等地推出谷歌创业加速器:循环经济项目
港股市场迎来大变化!小米股价创历史新高
互联网是种彻底的噪音,记者是记录真相还是噪音?
国家队同款,就在你我身边
世贸组织总干事犀利点评美国“贸易吃亏论”:滥用自身优势的“大赢家”
宗校立:中东局势有变,对美元影响很大!
港股收盘大涨!恒生科技指数收涨308% 科网股全线大涨
“券商从业人员可以炒股”系误读 新规意在严格投资行为管理_申报_证券公司_违规
