Robots (robots.txt)

Die robots.txt dient dazu, um das Suchverhalten der verschiedenen Suchmaschinen festzulegen. ZBsp. um bestimmte Dateien oder Ordner auszunehmen.

 

Achtung: Es ist damit nicht möglich vor dem Zugriff von Suchmaschine zu schützen; mehr dazu unter Robots (META-Tag). Es besteht auch keinerlei Garantie, dass sich Suchmaschinen an den Verboten halten.

 

Die robots.txt Datei muss im root-Verzeichnis der Webseite sein.

www.IhreDomain.com/robots.txt

 

Der Inhalt kann wie folgt geschrieben werden

# robots.txt zu www.Ihredmoain.com/

User-agent: googlebot
User-agent: msnbot
Disallow: /images/

User-agent: yandex
Disallow: /images/
Disallow: /temp/
Disallow: /users.html

User-agent gibt die Suchmaschine an. Disallow legt fest welche Elemente ausgenommen werden. Eine ausführliche Beschreibung unter https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

Für die Suchmaschinenoptimierung nicht...

Weiterlesen

Im Allgemeinen kann ein META-Tag für den...

Weiterlesen

Die robots.txt dient dazu, um das Suchverhalten...

Weiterlesen

Medientypen werden benötigt, um verschiedene...

Weiterlesen