Crawling einfach erklärt, vom Googlebot bis zum Crawl-Budget und ohne Fachchinesisch.
Crawling bezeichnet den Vorgang bei dem Suchmaschinen das Web systematisch durchsuchen. Programme wie der Googlebot folgen Links von Seite zu Seite, laden die gefundenen Inhalte herunter und reichen sie zur Auswertung weiter. Erst wenn eine Seite gecrawlt wurde kann sie in den Index aufgenommen werden und in den Suchergebnissen erscheinen. Ohne Crawling keine Sichtbarkeit, so einfach ist die Kette.
Der Googlebot startet bei bekannten Seiten und hangelt sich über Verlinkungen weiter. Zwei Dateien helfen ihm dabei den Überblick zu behalten: Die robots.txt sagt ihm welche Bereiche er besuchen darf und die XML-Sitemap listet alle Seiten auf, die eine Website für wichtig hält. Beides ersetzt keine gute Struktur, beschleunigt aber die Arbeit. Je klarer die interne Verlinkung desto zuverlässiger findet der Bot auch tiefer liegende Seiten.
Die beiden Begriffe werden oft verwechselt. Crawling heißt nur, dass der Bot eine Seite besucht hat. Ob sie danach in den Index aufgenommen wird ist eine eigene Entscheidung: Google bewertet dabei Qualität, Einzigartigkeit und technische Signale. Eine Seite kann also problemlos gecrawlt und trotzdem nicht gelistet sein, etwa wegen eines noindex-Hinweises oder weil der Inhalt einer anderen Seite zu stark ähnelt. Warum eine Seite trotz Crawling fehlt haben wir im Beitrag zur fehlenden Google-Indexierung ausführlich beschrieben.
Google besucht nicht jede Website unbegrenzt oft. Wie viele Seiten in welchem Rhythmus gecrawlt werden hängt von Größe, Qualität und technischer Gesundheit ab. Verschwendet wird dieses Budget vor allem durch lange Weiterleitungsketten, tote Links, Duplikate und träge Server. Eine saubere 301-Weiterleitung statt verketteter Umleitungen und eine gute Ladezeit sorgen dafür, dass der Bot seine Zeit mit den wichtigen Seiten verbringt.
Nach jedem größeren Umbau lohnt der Blick in die Google Search Console: Dort steht welche Seiten gecrawlt wurden, wo Fehler auftreten und ob die Sitemap aktuell ist. Wer neue Inhalte veröffentlicht oder URLs ändert sollte die Sitemap direkt neu einreichen, dann verkürzt sich die Zeit bis zur Aufnahme spürbar. Alles Weitere erledigt eine saubere Seitenstruktur von allein.
Passend dazu: Canonical-Tag und Duplicate Content. Alle Begriffe im Glossar.
Ob Google alle wichtigen Seiten erfasst sieht man von außen nicht. Wir prüfen Crawling, Indexierung und Sitemap Ihrer Website und sagen Ihnen wo Signale verloren gehen.
