Warum Homepage-Baukasten.de 99,8% aller eigenen Seiten deindexiert
Es ist nun knapp zwei Jahre her, dass Google mit seinem zweiten großen Phantom-Update bei vielen Webmastern für große Bestürzung gesorgt hat. Die Aktualisierung des Core-Algorithmus hatte teils verheerenden Einfluss auf die Sichtbarkeitswerte von beispielsweise redaktionell geführten Portalen, qualitativ hochwertigen Ratgeberseiten, oder auch Domains im Aufwärtstrend. So auch Homepage-Baukasten.de. Nach dem Phantom-Update verlor die Seite 40 Prozent der Sichtbarkeit. Die Betreiber reagierten, indem sie am 27. Oktober 2016 über 100.000 interne Seiten auf „no-index“ umstellten.
Thin-Content als Übeltäter
Die Analyse der eigenen Seite ergab recht schnell, dass Google mit dem Update vor allem an der Qualitätsschraube gedreht hatte. Für den User sollten qualitativ hochwertige Webseiten sichtbarer gemacht werden. Insbesondere Faktoren wie die Benutzerfreundlichkeit oder viel Thin-Content spielen in die neue Qualitätsbewertung mit rein. Die interne Untersuchung ergab, dass der Anteil der redaktionell erstellten Artikel vergleichsweise niedrig war. Dieser ist zwar hochwertig und bietet einen echten Mehrwert, doch im Vergleich zu den Foren-Seiten stellt er nun einen Bruchteil der Inhalte von Homepage-Baukasten.de. Etwa 100 redaktionellen URLs stehen circa 103.000 Forenseiten gegenüber. Die Annahme: Ein Großteil der Forenseiten werden als Thin-Content gewertet und übersteigen so die Zahl qualitativ hochwertiger, redaktioneller Inhalte um ein vielfaches. Mit Hilfe von Google Analytics wurden die Foren-URLs ermittelt, welche seit mindestens einem Jahr keinerlei organischen Traffic verbucht hatten. Die Konsequenz, um im Google-Ranking wieder zu steigen: Die Implementierung des „no-index“-Tags am 27. Oktober 2016 bei jeder Foren-URL im Head-Bereich des Codes, die seit mindestens einem Jahr keinen organischen Traffic aufweisen konnte.
Google crawlt lange ohne Effekt
In der Folge überwachte das Team den Verlauf der Deindexierung, um mögliche Probleme, z.B. beim Crawling, zu identifizieren. Nach der Integration des „no-index“-Tags überprüfte man den Status täglich, unter Einsatz der Search Console und der „Site“-Abfrage bei Google. Mit Hilfe von „Abruf wie durch Google“ in der Search Console versuchte das Team, den Prozess zu beschleunigen. Schauen wir uns die Search Console Crawling Statistik an, so sehen wir, dass der Google Bot zwischen dem 27. Oktober 2016 und dem 15. Januar 2017 mehrfach auf Homepage-Baukasten.de war und dabei jeweils bis zu 26.534 Seiten gecrawlt hat. Bemerkenswert: Bis zum 15. Januar gab es jedoch weder Veränderungen in der Site-Abfrage, noch im Indexierungsstatus der Search Console. Hätte man ursprünglich erwarten können, dass die am 23. Oktober 2016 indexierten Seiten bis Anfang 2017 bereits stark gefallen sein müssten, so zeigte die Realität eine lediglich sanft abfallende Kurve. Die Seiten wurden also trotzt reger Googlebot-Aktivität äußerst langsam deindexiert.
Bereits am 19. Januar 2017 wurden abermals 29.393 Seiten durch den Googlebot gecrawlt und wenige Wochen später, am 12. Februar 2017, wiederholte sich die Prozedur abermals – dieses Mal waren es sogar, laut Search Console, 34.757 gecrawlte Seiten.
Die Search Console lieferte also Daten zu 3 Crawls zu je bis zu 35.000 Seiten. Dennoch verlief der Prozess der Deindexierung über die gesamte Beobachtungsperiode äußerst schleppend.
Ende März (Stand 29. März 2017) sind laut Site-Abfrage weiterhin 2.220 Foren-Seiten indexiert. Ein Fehler beim Einbau des „no-index“-Tags kann ausgeschlossen werden, da die Seiten definitiv deindexiert werden – nur eben sehr langsam. Wie kann es jedoch erklärt werden, dass der Googlebot über diesen sehr langen Zeitraum von mehreren Monaten mehrfach über 30.000 Seiten gecrawlt hat, ohne eine schnellere Deindexierung zu veranlassen? Spätestens nach einer dreifachen tiefgehenden Durchleuchtung der Seite, wäre eine flottere Deindexierung zu erwarten. Die Frage, weshalb Google diesen Prozess absichtlich oder unabsichtlich stückelt, bleibt vorerst unbeantwortet.