Diverse Bots, Spider usw. zeigen sich aggressiv und/oder akzeptieren unsere robots.txt nicht. Diese sollten deshalb ausgesperrt werden. Nicht zuletzt kann das aggressive Verhalten zu erheblichen Performance-Einbußen führen.
Beispiele für apache.
# Bots aussperren
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Pixray [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} UnisterBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Pixray-Seeker [NC,OR]
RewriteCond %{HTTP_USER_AGENT} 360Spider [NC]
RewriteRule ^.* - [F,L]