客户帮助中心

windows server 2008系统云主机设置拦截蜘蛛抓取

时间:2015-04-17 16:56来源:中国名创

本文以云主机上安装了windows server 2008系统为例，讲述如何拦截搜索引擎蜘蛛抓取页面，下面列出规则

文件httpd.conf：

windows server 2008系统下 web.config

<rule name="Block spider">

      <match url="(^robots.txt$)" ignoreCase="false" negate="true" />

      <conditions>

        <add input="{HTTP_USER_AGENT}"

pattern="Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot"

ignoreCase="true" />

      </conditions>

      <action type="CustomResponse" statusCode="403" statusReason="Forbidden"

statusDescription="Forbidden" />

</rule>

注：规则中默认屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按规则添加即可

由中国名创www.chuang.top 整理发布。

------分隔线----------------------------