Robots (robots.txt)

Die robots.txt dient dazu, um das Suchverhalten der verschiedenen Suchmaschinen festzulegen. ZBsp. um bestimmte Dateien oder Ordner auszunehmen.

 

Achtung: Es ist damit nicht möglich vor dem Zugriff von Suchmaschine zu schützen; mehr dazu unter Robots (META-Tag). Es besteht auch keinerlei Garantie, dass sich Suchmaschinen an den Verboten halten.

 

Die robots.txt Datei muss im root-Verzeichnis der Webseite sein.

www.IhreDomain.com/robots.txt

 

Der Inhalt kann wie folgt geschrieben werden

# robots.txt zu www.Ihredmoain.com/

User-agent: googlebot
User-agent: msnbot
Disallow: /images/

User-agent: yandex
Disallow: /images/
Disallow: /temp/
Disallow: /users.html

User-agent gibt die Suchmaschine an. Disallow legt fest welche Elemente ausgenommen werden. Eine ausführliche Beschreibung unter https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

Zuerst müssen die js Dateien im Setup des...

Weiterlesen

Um ein Eingabefeld auf einer bestimmten Stelle der...

Weiterlesen

Eine Anleitung und die dazugehörigen Dateien...

Weiterlesen

Einige Seiten um Farbcodes und Farbschemas zu...

Weiterlesen

Mit dem backstretch script lässt sich eine simple...

Weiterlesen

 

Ein einfaches horizontales Menü in Typo3 kann...

Weiterlesen

Für die Suchmaschinenoptimierung nicht...

Weiterlesen

Einer meiner Favoriten der CSS-Eigenschaften ist...

Weiterlesen

Im Allgemeinen kann ein META-Tag für den...

Weiterlesen

Die robots.txt dient dazu, um das Suchverhalten...

Weiterlesen