百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体：大 中 小 】
【太平洋科技快讯】近日，百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限，此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容，用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示，目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施，但有业内人士指出，这些方法可能只能防止大部分合法的爬虫抓取，无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容，用于AI训练。
猜你喜欢
5月10日基金净值：广发景华纯债A最新净值10222
6067 七丰精工向不特定合格投资者公开发行股票并在北交所上市网上路演将于3月28日1400在全景路演举行
8148 成都股票配资公司 ,期货哪个头寸是本周的王者？
3007 配资股牛网：您的股票投资利器，助您牛气冲天
9173 新春走基层·深圳：春节不打烊 企业启动春节稳岗和关怀活动
5675 特朗普“24小时解决乌克兰冲突”是可能的吗？
5524 案值约12亿元！广东海警无害化处置涉案猪肉、猪肚等冻品3000余吨
8718 老司机又亏钱了 - 马士基2023年报简析
5644 铝相关外盘合约
1511 英国2月服务业PMI为538，预期543；2月综合PMI为53，预期533
5921 
4月1日基金净值：交银经济新动力混合A最新净值29037，跌023%
COMEX黄金期货下跌219%，报32469美元盎司
Google将在亚太等地推出谷歌创业加速器：循环经济项目
港股市场迎来大变化！小米股价创历史新高
互联网是种彻底的噪音，记者是记录真相还是噪音？
国家队同款，就在你我身边
世贸组织总干事犀利点评美国“贸易吃亏论”：滥用自身优势的“大赢家”
宗校立：中东局势有变，对美元影响很大！
港股收盘大涨！恒生科技指数收涨308% 科网股全线大涨
“券商从业人员可以炒股”系误读 新规意在严格投资行为管理_申报_证券公司_违规
