KONTAKT
Nice, die Google Search Console (GSC) hat ein sehr feines neues Tool erhalten: Den robots.txt Report. Zu finden ist der Report in GSC Properties unter Einstellungen > robots.txt, und enthält zahlreiche nützliche Infos für SEOs & Webmaster 👇
In GSC Domain Properties werden die robots.txt Dateien aller Hostnamen aufgelistet, die Googlebot finden konnte. Befinden sich duplikate Dateien in dieser Liste, dann könnte das Crawlingprobleme verursachen.
Das Datum der letzten Überprüfung einer robots.txt Datei.
Der Status nach der letzten Überprüfung (welcher idealerweise "Abgerufen" lautet.) Sollte ein Fehler während der Überprüfung aufgetreten sein, dann können die anführten Infos (z.B. "Nicht abgerufen - Wegen eines anderen 4xx-Problems blockiert") für Fehleranalysen genutzt werden.
Die Größe der robots.txt Datei kann interessant sein, weil Google für robots.txt "nur" eine maximale Größe von 512 kB erlaubt. (Ehrlich gesagt sind mir robots.txt Dateien dieser Größe aber noch nie untergekommen.)
Hier werden etwaige Probleme innerhalb der robots.txt Datei angeführt. Bisher sind mir hier vor allem Warnungen zu ungültigen Zeilen aufgefallen, die von Googlebot ignoriert werden, z.B. "Crawl-delay".
Aber Achtung: Nur weil Googlebot eine robots.txt Zeile ignoriert, heißt das nicht, dass andere Crawler diese Zeile ebenfalls ignorieren. Wer die Crawlrate seiner Website für Googlebot ändern möchte, sollte übrigens die Seite Crawling-Frequenz des Googlebots ändern in der Search Console Help besuchen.
Nach dem Klick auf eine der aufgelisteten robots.txt Dateien klappen vom rechten Bildschirmrand weitere Details aus. Dort ist beispielsweise der Inhalt der robots.txt Datei bei der letzten erfolgreichen Überprüfung zu sehen.
Sehr interessant finde ich den Button "Versionen" innerhalb der Details. Klickt man darauf, bekommt man eine chronologische Auflistung von robots.txt-Versionen zu sehen. Das kann für Fehleranalysen sehr wertvoll sein.
Hinweis: Falls ihr noch ältere robots.txt-Versionen einer Website braucht, dann könnt ihr dafür auch die Wayback Machine nutzen. In meinem Blog findet ihr hier übrigens ein SEO Bookmarklet, mit dessen Hilfe ihr die Wayback Machine für einzelne URLs noch schneller aufrufen könnt.
