网站建设完成后就正式上线了，在网站运营过程中，如果你用的是虚拟主机，可能遇到过网站流量超标的情况，我们通过网站流量监控发现，绝大部分的流量消耗都是蜘蛛抓取造成的，那么我们如何屏蔽拦截蜘蛛抓取我们的网站呢？如果是正常的搜索引擎蜘蛛访问，不建议对蜘蛛进行禁止，否则网站在百度等搜索引擎中的收录和排名将会丢失，造成客户流失等损失。

可以优先考虑将网站改版为静态页面的，静态文件都是有缓存的。如果不想在网站方面作出改动，可以使用空间的伪静态规则来进行拦截：

 

Linux下规则文件.htaccess(手工创建.htaccess文件到站点根目录)

Windows2008、2012或更高系统下规则文件web.config (手工创建web.config文件到站点根目录)

注：“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名称，根据需要添加以"|"为分割。

  规则中默认屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按规则添加即可,附各大蜘蛛名字：

  google蜘蛛：googlebot

  百度蜘蛛：baiduspider

  百度手机蜘蛛：baiduboxapp

  yahoo蜘蛛：slurp

  alexa蜘蛛：ia_archiver

  msn蜘蛛：msnbot

  bing蜘蛛：bingbot

  altavista蜘蛛：scooter

  lycos蜘蛛：lycos_spider_(t-rex)

  alltheweb蜘蛛：fast-webcrawler

  inktomi蜘蛛：slurp

  有道蜘蛛：YodaoBot和OutfoxBot

  热土蜘蛛：Adminrtspider

  搜狗蜘蛛：sogou spider

  SOSO蜘蛛：sosospider

  360搜蜘蛛：360spider  

以上蜘蛛的名称可以参考，如果你的网站有其它蜘蛛也可以增加上去。

如需我们网站建设公司帮助设置，可以联系我们的客服或电话，我们也可以帮忙处理。

TAG标签: 如何屏蔽蜘蛛抓取   武汉网站建设