Geoblocking: Wenn Googlebot statt 301 nur 404 sieht
Tja, nach einem Website Relaunch möchten SEO-Verantwortliche 𝗴𝗲𝗻𝗮𝘂 𝗱𝗮𝘀 nicht sehen. Was könnte hier wohl schiefgegangen sein? 🤔🤔🤔
Wurde das Crawling via robots.txt blockiert?
Wurde die Indexierung via Noindex blockiert?
Waren die Canonical Links & hreflang tags kaputt?
Wurde der Content großflächig eingestampft?
Wurde auf die 301-Redirects vergessen?
Nein, nichts davon. Alle erwähnten Punkte wurden im Zuge des Relaunchs korrekt umgesetzt. Zumindest glaubte das Projektteam das.
Was war der Fehler?
TLDR: Der Fehler lag - wie so oft - im Detail. Und diesmal lag es an den 301-Redirects und einer fehlerhaften Geoblocking-Einstellung am Webserver 🤦♂️ (Nein, es sind NICHT immer die Redirects! Aber leider oft...)
Wer noch etwas Zeit zum Lesen hat: Nachfolgend einige Details zur Fehleranalyse.
Details zur Fehleranalyse
Die alten URLs leiteten bei stichprobenartiger Überprüfung im Browser korrekt per 301 auf die neuen URLs weiter. SEO-Plugins und DevTools (im Tab Netzwerkanalyse) bestätigten das ebenfalls. Alles klar soweit! ✔️
Ein Crawl mit Screaming Frog war auch erfolgreich. Die alten URLs gaben 301 zurück und leiteten auf die korrekten neuen URLs weiter. Die neuen URLs wiederum gaben 200 zurück, waren crawlbar und indexierbar. Nice! 👍
Beim Anblick der steigenden URL-Anzahl in Google Search Console > Einstellungen > Crawling-Statistiken > Nach Antwort > Nicht gefunden (404) machte sich jedoch ein Gefühl breit: Hier stimmt irgendwas nicht 😨
Bei genauerer Analyse der 404er wurde festgestellt, dass zig alte URLs dabei waren. Und jetzt wird's komisch: Beim Aufruf von URLs aus dem GSC 404-Report war in Browser-Plugins, DevTools & Screaming ein 301er zu sehen 🤔
Mit dem GSC URL Inspection Tool konnte das Rätsel schlussendlich gelöst werden: Googlebot konnte die alten URLs (von vor dem Relaunch) nicht crawlen. Statt 301 bekam Googlebot stets 404 ausgeliefert 💡
Nach dieser Fehleranalyse konnte das Problem an die zuständigen Devs weitergeleitet werden. Die Ursache für dieses SEO-Problem war eine fehlerhafte Geoblocking-Einstellung am Webserver. Dadurch bekamen Requests von US-amerikanische IPs auf die alten URLs immer einen 404er zu sehen, obwohl eigentlich ein korrekter 301-Redirect hinterlegt gewesen wäre. Der Fix dieses Problems ging fix ❤️
Nun heißt es Daumen drücken, dass die Rankings asap zurückkommen 🤞
Tipps zur Vermeidung & Lösung von Geoblocking-Problemen
Am einfachsten könnt ihr das mit dem URL Inspection Tool in der GSC prüfen. Einfach die URL in der GSC Suchleiste einfügen, ENTER drücken und checken, welchen Webserver Statuscode die überprüfte URL zurückgibt.
Eine Alternative dafür ist das Rich Results Testing Tool. Damit können auch URLs geprüft werden, zu deren GSC Property ihr keinen Zugang habt.
Bis vor wenigen Tagen konnte auch das Mobile-Friendly Testing Tool dafür verwendet werden. Das wurde nun aber leider von Google deaktiviert, siehe diesen LinkedIn-Post von mir. Google empfiehlt stattdessen die Verwendung von Chrome Lighthouse.
Weitere Tipps & Denkanstöße aus der LinkedIn SEO-Community:
"Das passiert auch, wenn gleichzeitig ein CMS Wechseln durchgeführt wird. Macht ein altes CMS die 301 von gelöschten (teilweise viele Jahre angesammelt) URLs, weiß das neue das natürlich nicht. Oft denkt man nur an die „aktiven“ um sie richtig umzuziehen. Webmaster vergessen aber diese alten, versteckten URLs, die natürlich weiterbedient werden müssen. Anstatt 301 kriegt man die 404." von Andreas Korzec
"Deshalb immer alle alten URLs per manueller Sitemap nach Golive nochmal einreichen, dann bekommt man eine schöne Übersicht im Seitenreport, was Google mit den alten URLs anstellt 🙂 In der Search Console kann im Seitenreport auf Basis von hinterlegten Sitemaps gefiltert werden. So erhält man ein super Monitoring, wann Google welche Weiterleitung registriert und was sonst noch mit den alten URLs passiert." von Stephan Wild
"wenn die XML-Sitemaps noch kategorisiert werden, ist die Analyse einfacher und Ähnlichkeiten zwischen Seitentypen können schneller erkannt werden." via Eduard Wensler
"Wir sind mit unserem Relaunch vor wenigen Wochen tatsächlich genau in dieses Problem gelaufen. Redirects waren zwar vorhanden (zumindest für einen Großteil der relevanten URLs), aber Google hat davon nichts mitbekommen. Bei unseren Tests im Vorfeld ist uns das leider nicht aufgefallen. Erst in der GSC haben wir dann das Problem entdeckt und konnten es näher analysieren. Problem bei uns war, dass der Redirect nicht dem RFC 2616 Standard entsprach und relative URLs statt absolute URLs enthielt. Den Fehler konnten wir schnell beheben und die Rankings erholen sich auch wieder." via Daniel Bär
"Wow, tricky one. Danke für die Insights! 💡Via Web Search API von Google die Seiten neu durchchecken gelassen? Das war letzthin meine Rettung für möglichst schnelle Recovery. (200 pro Account pro Tag via API)" via Sam Steiner
"Logfiles sollten das auch sofort verraten." via Tobias Schmitz
