Die Ausgangslage
Anfang Mai
beschrieb Homepage-Baukasten.de, wie und warum man zu der Entscheidung kam, 99,8 Prozent aller eigenen Seiten zu deindexieren. Zunächst einmal ein großes Dankeschön an alle, die sich aktiv an der Diskussion beteiligt haben. Im zweiten Teil der Case-Study soll genauer geschildert werden, wie die Deindexierung im weiteren Verlauf voranschritt und welche Erkenntnisse aus den Folgen gezogen wurden.
Wir erinnern uns: Googles zweites großes Phantom-Update trieb vor zwei Jahren zahlreiche
Webmaster zur Verzweiflung und wirbelte die Sichtbarkeit einiger Portale, vorzugsweise redaktionell geführter Natur, ordentlich durcheinander. Auch
www.homepage-baukasten.de hatte seine liebe Not mit dem Update und verlor knapp 40 Prozent der Sichtbarkeit. In der Folge stellte man am 27. Oktober 2016 mehr als 100.000 interne Seiten auf „no-index“. Ende März 2017 waren weiterhin 2.200 Foren-Seiten indexiert. Warum die Seiten nicht komplett deindexiert wurden und weshalb Google mehrere Monate brauchte, um die Seiten aus dem Index zu nehmen, konnte damals nicht eindeutig beantwortet werden. Nun sollen die neuen Erkenntnisse der vergangenen Monate ein wenig Licht ins Dunkel bringen.
Die Deindexierung schreitet voran
Was inzwischen an Erkenntnissen hinzugewonnen wurde: In der Google Site-Abfrage wird bei den organischen Suchergebnissen der URLs, bei denen kein „no-index“-Tag gesetzt wurde, die Option „Cache ansehen“ angezeigt.
Bei Seiten, bei denen das Tag gesetzt wurde, fehlt diese Option. Das bedeutet, dass Google die getaggten Foren-URLs richtig erkannt hat, sie in den SERPs berücksichtigt, jedoch weiterhin nicht deren Deindexierung beschleunigt.
Wir betrachten die Logfiles
Man muss sich vergegenwärtigen, dass die Crawlingstatistiken der Search Console lediglich die Anzahl an Besuchen des Google-Bots, nicht aber die Anzahl an tatsächlich gecrawlten URLs anzeigen. Deshalb empfiehlt es sich, die Logfiles im Detail zu betrachten. Dadurch wird ersichtlich, wie oft und in welcher Ebene der Google-Bot welche URL zu welchem Zeitpunkt gecrawlt hat.
Die Recherche ergab folgende Erkenntnisse:
● Laut Search Console besuchte der Googlebot am 12.04.2017 über 100.000 Mal die Seite von Homepage-Baukasten.de, weshalb wir Stichprobenartig diesen Zeitraum betrachtet haben.
● An diesem Tag hat Google verschiedenste Foren-URLs mehrere zig tausende Male
aufgerufen – auch in dritter Ebene.
Augenscheinlich hat Google also die unterschiedlichen Foren-URLs in jedem Fall gecrawlt und damit auch das „no-index“-Tag bemerken müssen. Dennoch schreitet die Deindexierung nur stückweise voran und Google nimmt die URLs nur schleppend aus den organischen Suchergebnissen.
Das Crawling beschleunigen
Eine Maßnahme, die den Prozess des Crawlings der Seiten mit no-index, beziehungsweise deren Deindexierung beschleunigen könnte, ist die Möglichkeit, alle URLs in eine separate Sitemap zu listen und diese dann über die Search Console bei Google einzureichen. Für Homepage-Baukasten.de war dies jedoch keine Option, da 99,8 Prozent aller Seiten aus dem Index genommen werden sollten und alle URLs bereits in Sitemaps untergebracht waren.
Eine weitere Option, Priorities in Sitemaps zu setzen und alle „no-index“-Seiten mit Priorität 1,0 zu belegen, kam ebenfalls nicht in Frage. Im konkreten Fall des Homepage-Baukastens, hätten ebendiese 99,8 Prozent der Seiten die Priorität 1,0 erhalten müssen.
Fazit und Ausblick
Wie bereits im ersten Teil unserer Case-Study beschrieben, haben wir Foren-URL’s deindexiert, die seit mindestens einem Jahr keinen organischen Traffic generieren konnten. Ein Nebeneffekt der Deindexierung war der Verlust von trotzdem rankenden Keywords auf halbwegs guten Positionen. Dieser Verlust wurde jedoch bewusst gewählt, da dies Keywords betrifft, die für die eigene Branche nicht relevant waren. Insgesamt wurden keine wichtigen Moneykeywords aus den Top-10-Rankings verloren.
Anzumerken ist abschließend, dass bis zum heutigen Tag nicht alle Seiten mit dem Tag „no-index“ deindexiert wurden. Google scheint sich also bewusst Zeit zu lassen und stückelt die Deindexierung, um sicher zu gehen, dass sämtliche Seiten bewusst auf „no-index“ gestellt wurden. Das soll offenbar Fehler von Webmastern ausschließen.
Für die Zukunft, nach der vollständigen Deindexierung, stehen noch zwei wichtige Schritte aus: Erstens muss die Sitemap aktualisiert werden. Das bedeutet, dass alle Seiten mit dem „no-index“-Tag aus der Sitemap entfernt werden, damit Google diese nicht unnötig crawlt und somit Crawlingbudget verschenkt. Zweitens muss die robots.txt-Datei aktualisiert werden, um den Zugriff des Googlebots auf no-index-Seiten zu blockieren. Wie lange es noch dauert, bis die Seiten vollständige deindexiert sind, ist momentan weiterhin nicht absehbar.
