百度百科屏蔽谷歌/必应等搜索引擎 防止内容被抓取训练AI

2024-11-15 13:31:28 admin

近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,百度百科必预计是屏蔽为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的谷歌内容用于训练AI。

百度百科屏蔽谷歌/必应等搜索引擎 防止内容被抓取训练AI

百度百科的等搜robots.txt文件显示,目前仅有百度搜索、索引搜狗搜索、擎防中国搜索(Chinaso)、止内抓YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。容被

谷歌搜索、训练必应搜索、百度百科必微软MSN、屏蔽UC浏览器的谷歌Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

百度百科屏蔽谷歌/必应等搜索引擎 防止内容被抓取训练AI

虽然360搜索没有在封禁列表中单独列出,等搜但百度百科的索引策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是擎防被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

友链


  • 文章

    82737

  • 浏览

    85

  • 获赞

    13449

赞一个、收藏了!

分享给朋友看看这篇文章

热门推荐