Einmal wie ein Suchmaschinenbot unterwegs sein

Wer eine Website betreibt, kann anhand der „User-Agent“-Angabe Rückschlüsse auf die Technik der Besucher ziehen. Es handelt sich um einen String, der oftmals Informationen zum verwendeten Webbrowser und Betriebssystem enthält. Auch Suchmaschinenbots haben meistens eine eigene Signatur und können auf diese Weise identifiziert werden. In einigen Fällen, beispielsweise wenn man Besucherströme gezielt steuern möchte, kann die „User-Agent“-Angabe ein unverzichtbares Mittel darstellen. Aber auch in Fällen, in denen man Besuche von Suchmaschinenbots abfangen möchte. Den User-Agent mit Augenmaß berücksichtigen An dieser Stelle sei darauf hingewiesen, dass sogenanntes „Cloaking“ gegen die Richtlinien vieler großer Suchmaschinen verstößt, darunter gegen die von Google. Beim „Cloaking“ werden Suchmaschinen vollkommen andere Inhalte präsentiert, als normalen Besuchern der Seite. Manche Webmaster versuchen, damit eine Form von „Suchmaschinenoptimierung“ zu betreiben. Auf solche Praktiken sollte man sich aber nicht einlassen, da sie nicht nur unseriös sind und somit dem eigenen Ansehen schaden, sondern auch weil sie eine Abstrafung seitens des Suchmaschinenbetreibers nach sich ziehen können. Und das passiert schneller, als mancher Seitenbetreiber denken mag! Wer aber Teile der eigenen Website für Suchmaschinenbots sperren möchte und wo klassische Methoden versagen (z. B. eine Blockade über die Robots.txt -Datei), findet in der „User-Agent“-Angabe nicht selten ein hilfreiches und legitimes Mittel. Insbesondere Bots, die sich nicht an die allgemein anerkannten Regeln halten, können dieses Vorgehen notwendig machen. Dazu muss man zuerst den „User-Agent“-String des entsprechenden Bots ermitteln, entweder über Recherchen oder durch einen Blick in die Server-Logfiles. Danach kann man Zugriffe, die von diesem Bot stammen, gezielt abwehren – jedenfalls wenn der „User-Agent“-String oder Teile davon eindeutig sind. Für die Umsetzung des Ausschlusses bietet sich beispielsweise die .htaccess-Datei oder eine geeignete Skriptsprache, wie PHP, an. So funktioniert es Nehmen wir an, dass ein unseriöser Bot mit der „User-Agent“-Kennung, nennen wir sie „Bot xyz“, ständig Deine Seiten crawlt und dadurch zu viel Traffic verursacht. Oder er „schnüffelt“ in Bereichen Deiner Website herum, die für Bots nicht gedacht sind. Du hast diesen Bot nun ausgesperrt und möchtest testen, ob Deine Sperre auch funktioniert. Aber wie kannst Du das tun? Du bist kein Bot, sondern ein Mensch, sitzt beispielsweise vor Deinem Windows-PC und nutzt Firefox als Webbrowser. Wenn Du Deine Sperre mithilfe Deines Webbrowsers testen möchtest, wird diese nicht greifen, weil in Deinem User-Agent stehen wird, dass Du Windows und Firefox nutzt. Es gibt Abhilfe: Und zwar durch kostenfreie Plug-Ins, mit denen Du den „User-Agent“ Deines Webbrowsers beliebig verändern kannst. Für Mozilla Firefox gibt es beispielsweise den „User-Agent Switcher“. Einmal installiert, kannst Du Deinen eigenen User-Agent auf Knopfdruck so verändern, dass jeder von Deinen besuchten Webseite vorgetäuscht wird, dass Du mit einem völlig anderen Browser unterwegs seist (z. B. „Safari“). Selbst die Angabe zum Betriebssystem lässt sich damit verändern und beispielsweise vortäuschen, dass Du MacOS anstelle von Windows benutzt. Du kannst aber auch einen eigenen „User-Agent“-String festlegen und genau hier wird es interessant. Wenn Du als „User-Agent“ nun „Bot xyz“ angibst, kannst Du Deine Sperre überprüfen und in Echtzeit sehen, wie die Website darauf reagiert. Gelangst Du über Deinen Webbrowser trotzdem noch in die Bereiche, die Du eigentlich sperren wolltest, solltest Du Deine Arbeit nochmal überprüfen. Greift die Sperre jedoch und lässt Dich nicht mehr auf die blockierten Seiten, weißt Du, dass Du erfolgreich warst. Zu früh gefreut? Gerade bei dubiosen Bots wird die „User-Agent“-Kennung häufig geändert. Überprüfe daher von Zeit zu Zeit, ob Deine Sperre noch greift oder ob der „Bot xyz“ inzwischen einen anderen Namen trägt. Vielleicht hat er auch Gesellschaft von weiteren „Mitstreitern“ bekommen.