Die robots.txt dient dazu, um das Suchverhalten der verschiedenen Suchmaschinen festzulegen. ZBsp. um bestimmte Dateien oder Ordner auszunehmen.
Achtung: Es ist damit nicht möglich vor dem Zugriff von Suchmaschine zu schützen; mehr dazu unter Robots (META-Tag). Es besteht auch keinerlei Garantie, dass sich Suchmaschinen an den Verboten halten.
Die robots.txt Datei muss im root-Verzeichnis der Webseite sein.
| www.IhreDomain.com/robots.txt |
Der Inhalt kann wie folgt geschrieben werden
| # robots.txt zu www.Ihredmoain.com/ User-agent: googlebot User-agent: msnbot Disallow: /images/ User-agent: yandex Disallow: /images/ Disallow: /temp/ Disallow: /users.html |
User-agent gibt die Suchmaschine an. Disallow legt fest welche Elemente ausgenommen werden. Eine ausführliche Beschreibung unter https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt