Robots.txt: Obsolete Anweisungen entfallen bald

Im offiziellen Google Webmaster Blog wurde bekanntgegeben, dass ab September bestimmte Anweisungen in der Robots.txt-Datei nicht mehr berücksichtigt werden. Die Anzahl der betroffenen Websites dürfte sich in engen Grenzen halten, denn es handelt sich ausschließlich um Anweisungen, die im Grunde genommen gar nicht in die Robots.txt-Datei gehören. Konkret handelt es sich um die Anweisungen wie „Noindex“, „Nofollow“ und „Crawl-delay“. Nochmal zur Verdeutlichung: Es geht um die Robots.txt-Datei, nicht um den „Robots“-Meta-Tag im Head einer Webseite, wo „Noindex“ und „Nofollow“ korrekterweise häufig Verwendung finden. Dieser ist von dieser Änderung ausdrücklich nicht betroffen. Wer sich nicht sicher ist, ob die genannten Anweisungen in der eigenen Robots.txt enthalten sind, sollte sie sich bis Ende August anschauen. Sollten sich tatsächlich Noindex- und/ oder Nofollow-Anweisungen darin befinden, ist es empfehlenswert diese Anweisungen stattdessen direkt auf den betreffenden Seiten über den „Robots“-Meta-Tag einzubinden. Als Alternative bietet sich an, in der Robots.txt-Datei stattdessen die „Disallow“-Anweisung zu nutzen, sie hat quasi denselben Effekt wie „Noindex“. Mit der Anweisung „Crawl-delay“ kann man einen Sekundenwert festlegen und bestimmte Crawler anweisen, die eigene Website nicht häufiger als den festgelegten Sekundenwert zu besuchen. Google ignoriert diese Anweisung jedoch – sie stammt noch aus den frühen Tagen des World Wide Webs, als Webserver noch nicht so leistungsfähig wie heute waren. Der Googlebot erkennt automatisch, wenn ein Webserver ausgelastet ist und berücksichtigt dies.