Alles über robots.txt

[spiter]

HallO!

hier mal eine kleine zusammenstellung über die robot.txt die für Webmaster sehr wichtig ist!

Die Datei robots.txt

Bevor man verstehen kann, was und wofür eine robots.txt ist, sollte man wissen, was ein Robot, auch Spider genannt, ist. Robots sind Programme oder Skripte, die von Suchmaschinen losgeschickt werden und sich von Seite zu Seite durchs Web hangeln. Dabei werden die gefundenen Seiten indiziert und in den Datenbeständen der Suchmaschine aufgenommen. Ein Robot sucht nach Links in einer Seite und folgt diesen dann. Somit hat ein Webmaster keine Kontrolle, welche Wege sich dieser sucht.

Genau dafür ist die robots.txt zuständig. Fast alle Suchmaschinen-Robots halten sich an die Regeln in der robots.txt und suchen zuerst nach dieser Datei, bevor Sie mit dem Indexieren Ihrer Seiten beginnen. Oftmals kann es vorkommen, dass Sie auf Ihrem Webserver Dateien liegen haben, die nicht unbedingt für die Öffentlichkeit bestimmt sind oder ganz einfach nicht in Suchmaschinen aufgenommen werden sollen. Beispiele hierfür sind noch nicht freigegebene Seiten oder auch Programme, Skripte und ganze Webseiten, die nur für einen bestimmten Kreis zugänglich sein sollen. Manchmal macht es auch einfach keinen Sinn, Verzeichnisse spidern zu lassen. Handelt es sich hierbei zum Beispiel um Logfiles, müssen diese nun wirklich nicht von Suchmaschinen aufgenommen werden.

Die robots.txt ist eine einfache Textdatei, die im Hauptverzeichnis einer Domain abgelegt werden muss und den Robots angibt, wo sie nicht suchen dürfen und welche speziellen Seiten nicht aufgenommen werden sollen. Pro Domain darf es nur eine robots.txt geben, außerdem sollten Sie darauf achten, dass alle Buchstaben klein geschrieben werden müssen.

Wie muss nun eine robots.txt aufgebaut sein?

In einer robots.txt können mehrere Regeln hintereinander festgelegt werden. Dabei bestehen diese Regeln immer aus zwei Teilen. Als erstes muss angegeben werden, für wen diese Regel bestimmt ist. Hierbei kann man einzelne Robots mit Namen ansprechen oder die Regel für alle Robots gültig machen. Die Suchmaschinen geben Ihren Robots verschiedene Namen, diese sehen Sie dann auch in Ihren Logfiles. So heißt der Robot von AltaVista zum Beispiel Scooter, Excite hat seinen Robot ArchitextSpider genannt. Viele Suchmaschinen geben auf Ihren Seiten an, unter welchem Namen Ihre Robots durch das Web wandern, einige haben wir auch in unserem robots.txt-Generator integriert. Pro Zeile kann man einen Robot angeben, jede Zeile muss mit dem Wort ⬠a
User-agent' und einem Doppelpunkt anfangen. Beispiel:

User-agent: Scooter

Wollen Sie eine Regel für alle Robots festlegen, müssen Sie statt einem Robot-Namen ein * angeben:

User-agent: *

Hinter der Angabe der Robots folgt nun eine Auflistung der Verzeichnisse und Dateien, die nicht aufgenommen werden soll. Hier kann man auch explizit angeben, welche Dateien oder Verzeichnisse aufgenommen werden dürfen. Dabei muss jedes Verzeichnis, jede Datei in einer Zeile angegeben werden, angefangen mit Disallow oder Allow, dann folgt ein Doppelpunkt und die Angabe der Datei, des Verzeichnisses. So kann das dann aussehen:

Disallow: /verzeichnis1/
Disallow: /verzeichnis2/unterverzeichnis/
Disallow: /datei.htm
Allow: /verzeichnis3/

Dabei müssen Sie darauf achten, dass Sie den Pfad ohne Domain angeben und immer mit einem Slash beginnen. Wenn man nun die Robots-Angabe und die Dateien/Verzeichnisse zusammenpackt, erhält man folgendes:

User-agent: Scooter
Disallow: /verzeichnis1/
Disallow: /datei.htm

Wenn Sie einen Robot für die komplette Domain sperren wollen, müssen Sie einfach nur einen Slash angeben. Wollen Sie zum Beispiel den Robot von Inktomi/Hotbot aussperren, würde das so aussehen:

User-agent: Slurp
Disallow: /

Das ist zum Beispiel dann sinnvoll, wenn ein Robot ständig wiederkommt und Ihren Trafic unverhältnismäßig hoch belastet. Im Gegenzug kann man auch alle Verzeichnisse freigeben, dazu muß man einfach nichts angeben:

User-Agent: Slurp
Disallow:

Zusätzlich zu den Suchmaschinen-Spidern gibt es noch spezielle Spider, die nach Email-Adressen suchen, um diese dann in eine Datenbank aufzunehmen. Wenn Sie verhindern wollen, dass solche Adressen-Sammler Ihre Adressen ausspionieren oder zum Beispiel alle Adressen aus Ihrem Gästebuch aufnehmen, müssen Sie als Robot-Namen den EmailCollector angeben.

Die verschiedenen Regeln müssen Sie durch eine Leerzeile trennen, Beispiel:

User-agent: EmailCollector
Disallow: /

User-Agent: *
Disallow: /verzeichnis3/

Weiterführendes:
1. Meine erste Hompage : http://www.meine-erste-homepage.com/robots_txt.php

Einen Generator kann man hier finden:
http://www.meine-erste-homepage.com/...tor/robots.cgi


mfg Felix

[spiter]

Hi!

Noch eine Erweiterung :

Robots Exclusion Standard von Wikipedia:

_______________________________
Robots Exclusion Standard
aus Wikipedia, der freien Enzyklopädie
(Weitergeleitet von Robots.txt)

Nach der Übereinkunft des Robots Exclusion Standard-Protokolls liest ein Webcrawler oder Bot beim Auffinden einer Webseite zuerst die Datei robots.txt im Wurzelverzeichnis (Root) einer Domain. In dieser Datei kann festlegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Serverbetreiber haben so die Möglichkeit ausgesuchte Bereiche ihres Servers für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawler angewiesen. Ein Ausgrenzen bestimmer Teile einer Webseite durch das Protokoll garantiert keine Geheimhaltung.

Beispiel: robots.txt von Wikipedia

* de.wikipedia.org/robots.txt

Webcrawler können auch durch HTML Meta-Tags am Indexieren einer Webseite gehindert werden. Auch Meta-Tags sind rein hinweisend, benötigen die Mitarbeit freundlicher Webcrawler und garantieren keine Geheimhaltung. Die Meta-Tags im Seitenquelltext dieser Seite hier lauten:

<meta name="robots" content="index,follow">


_ http://de.wikipedia.org/wiki/Robots.txt ____________________________



Weblinks

* The Web Robots Pages
http://www.robotstxt.org/

* SelfHTML, Allgemeines zur robots.txt
http://de.selfhtml.org/diverses/robots.htm