做外贸的，很忌讳国内的同行可以查看到自己站点的信息。

同时更不喜欢百度爬重带走索引，增加不必要的流量。

特别是国内同行的恶意竞争。

网上有很多屏蔽百度爬虫的，但要爬虫不遵守robots协议的话，照抓你站点。

使用robots文件的屏蔽方法站长工具就可以查看，但要实现完全屏蔽，可以使用以下方法：

在.htaccess文件中加入可以完全屏蔽

屏蔽内容一：

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

屏蔽内容二：

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>