1、百度蜘蛛:Baiduspider
百度蜘蛛最新名称为Baiduspider。
Baiduspider-image百度抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛:Googlebot
但也有说是GoogleBot的。
谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”。
还有Googlebot-Mobile,是抓取wap内容的。
3、360蜘蛛:360Spider,它是一个很“勤奋抓爬”的蜘蛛。
4、SOSO蜘蛛:Sosospider,也可为它颁一个“勤奋抓爬”奖的蜘蛛。
5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
6、有道蜘蛛:YoudaoBot,YodaoBot(两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少?)
7、搜狗蜘蛛:Sogou News Spider
8、MSN蜘蛛:msnbot,msnbot-media(只见到msnbot-media在狂爬……)
9、 必应蜘蛛:bingbot
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider一淘网蜘蛛:EtaoSpider
14、 SEMrush的服务器搜索蜘蛛:SemrushBot
本文观点仅代表作者本人,不代表新夸克的观点和立场。发布者:百科, 版权归原作者所有;新夸克旨在传递信息,如需转载请联系作者进行授权。 转载请注明出处:https://www.mequark.com/article/2632.html。