Crawling & Indexierung
Crawling bezeichnet den Prozess, bei dem Googles Bot (Googlebot) Webseiten aufruft und analysiert. Indexierung bezeichnet die Aufnahme gecrawlter Seiten in Googles Datenbank. Nur indexierte Seiten können in den Suchergebnissen erscheinen.
Crawling-Grundlagen: Googlebot folgt Links, um neue und aktualisierte Seiten zu entdecken. Die Crawl-Frequenz hängt von Website-Autorität, Crawl-Budget und AktualisierungsHäufigkeit ab. Interne Links sind der wichtigste Weg, Googlebot zu neuen Seiten zu führen. Indexierungshindernisse: robots.txt-Blockierung (Seiten versehentlich gesperrt), Noindex-Tag (verhindert Indexierung), Duplicate Content (Google indexiert die 'falsche' Version), Crawl-Fehler (404-Seiten, Server-Fehler), JS-Rendering-Probleme (Inhalte laden nur via JavaScript), AI-Crawler blockiert (GPTBot, ClaudeBot per Cloudflare-Default gesperrt). Pruefung in der Search Console: Indexierungsreport (wie viele Seiten sind indexiert, warum nicht?), URL Inspection Tool (einzelne URL pruefen), Sitemaps (eingereichte vs. indexierte Seiten vergleichen). Bei SOLIT starten alle SEO-Audits mit Crawl-Analyse: Wie viele Seiten sollten indexiert sein vs. wie viele sind es tatsaechlich? Sind wichtige Seiten ausgeschlossen? Sind unwichtige Seiten indexiert und verschwenden Crawl-Budget?
Praxisbeispiel
So läuft das konkret bei uns
Im SEO-Audit von solit.marketing: GPTBot gesperrt, wichtige Blog-Seiten mit noindex aus alten A/B-Tests, 9.861 Phantom-URLs verschwenden Crawl-Budget. Drei technisch behebbare Fehler mit direktem Ranking-Effekt.
Verwandte Begriffe
Was ihr sonst noch nachlesen könnt
Wir bauen Systeme die skalieren
Speziell für dieses Thema sind wir gut aufgestellt
Wichtige Seiten fehlen in Googles Index oder unwichtige Seiten verschwenden euer Crawl-Budget? Wir analysieren eure Crawl- und Indexierungssituation und zeigen, was behoben werden muss.
