Suchmaschinen-Robots – beispielsweise Googlebot – komplett aussperren

Möchte man sichergehen, dass eine Seite nicht durch Suchmaschinen-Spider indiziert wird, gibt es zwei relativ zuverlässige Methoden.

Das ist beispielsweise notwendig, wenn die Seite “aus Versehen” im Index der Suchmaschine gelandet ist. Vielleicht handelt es sich “Preview-Seite”, die zunächst nur für den potenziellen Kunden bestimmt ist und daher nicht über Google oder andere Suchmaschinen auffindbar sein soll.

Die beste Methode wäre natürlich, die Seite mit einem Passwort zu schützen. Manchmal möchte das der Kunde aber einfach nicht (oder man selbst).

Um zu verhinden, dass die Seite in den Index aufgenommen wird, sollte man zunächst in das Document-Root-Verzeichnis (also das “Mutter”-Verzeichnis) eine Datei mit dem Namen robots.txt legen.

Die meisten Spider suchen automatisch nach dieser Datei, in der angegeben wird, welche Verzeichnise der Spider durchsuchen darf und welche nicht.

Der Inhalt der Dtai sollte wie folgt sein (sofern man die Spider aus allen Verzeichnissen, also komplett, aussperren möchte:

User-agent: *
Disallow: /

Weitere Informationen zur robots.txt findet man unter anderem bei Wikipedia.

Da sich jedoch nicht alle Spider an die robots.txt halten, sollte man zusätzlich noch eine Rewrite Condition hinzufügen.

Diese kann man entweder in die VHost-Datei des Servers schreiben oder aber in die .htaccess, welche wiederum im Document-Root liegt (oder dort hingelegt werden kann).

Die Condition die dem Spider sagt, dass es die Seite nicht oder nicht mehr gibt, lautet wie folgt:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule .* - [G]

Hierzu gibt es ebenfalls weitere Informationen bei Wikipedia.