Robots (robots.txt)

Die robots.txt dient dazu, um das Suchverhalten der verschiedenen Suchmaschinen festzulegen. ZBsp. um bestimmte Dateien oder Ordner auszunehmen.

 

Achtung: Es ist damit nicht möglich vor dem Zugriff von Suchmaschine zu schützen; mehr dazu unter Robots (META-Tag). Es besteht auch keinerlei Garantie, dass sich Suchmaschinen an den Verboten halten.

 

Die robots.txt Datei muss im root-Verzeichnis der Webseite sein.

www.IhreDomain.com/robots.txt

 

Der Inhalt kann wie folgt geschrieben werden

# robots.txt zu www.Ihredmoain.com/

User-agent: googlebot
User-agent: msnbot
Disallow: /images/

User-agent: yandex
Disallow: /images/
Disallow: /temp/
Disallow: /users.html

User-agent gibt die Suchmaschine an. Disallow legt fest welche Elemente ausgenommen werden. Eine ausführliche Beschreibung unter https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

Zur besseren Bearbeitung macht es oft Sinn die...

Weiterlesen

Eine Slidebox öffnet sich bei Anwahl der selben....

Weiterlesen

Medientypen werden benötigt, um verschiedene...

Weiterlesen

opacity - der Gesamte Inhalt wird transparent...

Weiterlesen