网站优化中常见的网络蜘蛛 | 济南seo_赵存良的博客
首页 > seo杂谈 > 网站优化中常见的网络蜘蛛
201111月20

网站优化中常见的网络蜘蛛

作为一个Seoer,每天网站的排名、收录都要去进行关注,很多人都会经常谈到网站蜘蛛抓取,但是如何确定蜘蛛有没有来过你的网站呢?济南seo认为要想知道网站蜘蛛有没有来自己的网站爬行,必须要了解什么是网络蜘蛛,必须要知道网站优化中常见的网络蜘蛛。只有这样才能更好地了解和分析自己的网站。

那么什么是蜘蛛呢?简单来讲:网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

因此网络蜘蛛就是一个爬行程序,一个抓取网页的程序。

当我们的网站被收录的时候,我们再看自己的网站日志时,在网站日志文件中搜索“spider”这个词,就可以找到网络蜘蛛,也能确定网络蜘蛛是否来爬行了:

下面就是一些比较常用的搜索引擎的网络蜘蛛:

百度蜘蛛:baiduspider

google蜘蛛: googlebot

soso蜘蛛:sosospider

yahoo蜘蛛:slurp

msn蜘蛛:msnbot

搜狗蜘蛛:sougouspider

有道蜘蛛:YodaoBot和OutfoxBot

 

分享按钮

文章作者:济南seo
本文地址:http://www.yyseor.com/20111158.html
版权所有 © 转载时必须以链接形式注明作者和原始出处!

One Response to “网站优化中常见的网络蜘蛛”

  1. #1 济南吃好好外卖网 回复 | 引用 Post:2013-03-07 17:36

    为什么是蜘蛛啊??

发表评论