Google ignoriert robots.txt

[spiter]

Hi!


24.04.2003
Google ignoriert robots.txt


Schon einmal zeigte Google Probleme beim Befolgen der Anweisungen im robots.txt. Das scheint sich nun zu wiederholen.

Auch Google ist nicht vollkommen: Wie Klaus Schallhorn in seinem Suchmaschinen-Blog feststellt, ignoriert Google - wieder/nach wie vor - die Anweisungen der Datei robots.txt.

Die Datei robots.txt wird ?blicherweise vom Webmaster definiert, um beispielsweise ein Spidern bestimmter Dateien oder Verzeichnisse zu verhindern. Oder, um allzu "plumpen" Spidern Hausverbot zu erteilen. F?r die Robots der Suchmaschinen geh?rt es zum guten Ton, diese Anweisungen zu erf?llen. Ein mit Sanktionen verbundener Zwang dazu besteht allerdings nicht.

Dennoch ist f?r Betreiber eines WWW-Angebotes zumindest l?stig, wenn Suchmaschinen diese Anweisungen missachten. Oft genug schon mussten Webmaster feststellen, dass auch nicht zur allgemeinen Ver?ffentlichung bestimmte Daten pl?tzlich in den Suchmaschinen landeten.

Bereits im M?rz 2002 hatte der Londoner Suchmaschinen-Experte Schallhorn Fehler bei der Behandlung des robots.txt durch Google nachgewiesen. Damals hatte der Googlebot sogar sichere (https) Dateien "gesaugt". Obwohl solche Dateien nach Angaben von Google selbst eigentlich nicht im Index der Suchmaschine landen d?rften.


http://www.intern.de/news/4264.html

mfg Felix