027-86866258
网站建设知识|[prov_or_city]做网站公司|seo优化排名知识

武汉网站建设分享:网站如何屏蔽拦截蜘蛛抓取

2022-09-19 | 阅读:17699 首页>>新闻中心>>网站建站知识

武汉网站建设完成后就正式上线了,在网站运营过程中,如果你用的是虚拟主机,可能遇到过网站流量超标的情况,我们通过网站流量监控发现,绝大部分的流量消耗都是蜘蛛抓取造成的,那么我们如何屏蔽拦截蜘蛛抓取我们的网站呢?如果是正常的搜索引擎蜘蛛访问,不建议对蜘蛛进行禁止,否则网站在百度等搜索引擎中的收录和排名将会丢失,造成客户流失等损失。

可以优先考虑将网站改版为静态页面的,静态文件都是有缓存的。如果不想在网站方面作出改动,可以使用空间的伪静态规则来进行拦截:

 

Linux下规则文件.htaccess(手工创建.htaccess文件到站点根目录)

Linux下规则文件屏蔽蜘蛛抓取

Windows2008、2012或更高系统下规则文件web.config (手工创建web.config文件到站点根目录)

Windows规则文件屏蔽蜘蛛抓取

注:“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名称,根据需要添加以"|"为分割。

  规则中默认屏蔽部分不明蜘蛛,要屏蔽其他蜘蛛按规则添加即可,附各大蜘蛛名字:

  google蜘蛛:googlebot

  百度蜘蛛:baiduspider

  百度手机蜘蛛:baiduboxapp

  yahoo蜘蛛:slurp

  alexa蜘蛛:ia_archiver

  msn蜘蛛:msnbot

  bing蜘蛛:bingbot

  altavista蜘蛛:scooter

  lycos蜘蛛:lycos_spider_(t-rex)

  alltheweb蜘蛛:fast-webcrawler

  inktomi蜘蛛:slurp

  有道蜘蛛:YodaoBot和OutfoxBot

  热土蜘蛛:Adminrtspider

  搜狗蜘蛛:sogou spider

  SOSO蜘蛛:sosospider

  360搜蜘蛛:360spider  

以上蜘蛛的名称可以参考,如果你的网站有其它蜘蛛也可以增加上去。

如需我们网站建设公司帮助设置,可以联系我们的客服或电话,我们也可以帮忙处理。



TAG标签: 网站建设    屏蔽蜘蛛抓取   

相关资讯

十三年 行业经验

多一份参考,总有益处

联系新一点,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

业务热线:027-86866258 / 大客户专线:刘经理:15307181953

X做网站的二维码

截屏,微信识别二维码

微信号:xinyidian8

(点击微信号复制,添加好友)

  打开微信

微信号已复制,请打开微信添加咨询详情!