Was ist Crawling und Crawl-Budget?
Crawling bedeutet, dass Suchmaschinen wie Google neue Seiten auf einer Website entdecken. Beim Indexieren wiederum entscheidet die Suchmaschine, welche neu entdeckten Seiten tatsächlich in ihre Datenbank aufgenommen werden und daher für Suchanfragen ranken können. Während des Crawling-Prozesses gibt es ein sogenanntes **Crawl-Budget**, das begrenzt ist. Das heißt, Suchmaschinen werden nicht unbegrenzt viele Seiten einer Website erkunden, bevor sie aufhören.
Wenn das Crawl-Budget durch unwichtige oder minderwertige Seiten wie beispielsweise dünnen oder stark gefilterten Seiten verschwendet wird, könnten wichtige und relevante Seiten von Suchmaschinen nicht entdeckt oder aktualisiert werden. Das ist problematisch, denn Seiten, die nicht indexiert werden, können keinen organischen Traffic bringen.
—
Herausforderung: Filter-Ergebnisse und ihre Auswirkungen
Ein konkretes Problem, das im Artikel beschrieben wird, tritt auf Seiten mit Filteroptionen auf, wie bei Online-Shops oder Websites mit interaktiven Karten. Wenn Benutzer diese Filter verwenden, entstehen URLs mit bestimmten Parametern, wie z. B. `?filter=color`, um Inhalte entsprechend anzupassen. Diese Seiten werden oft nicht manuell in die Sitemap aufgenommen, können aber dennoch von Suchmaschinen entdeckt und gecrawlt werden, beispielsweise durch geteilte Links oder automatische Backlinks.
Solche gefilterten URLs können jedoch den Suchmaschinen-Crawler auf minderwertige Seiten lenken, die keine eigentlichen Ranking-Werte haben. Andere Beispiele umfassen Online-Stores, bei denen Filter wie Farbe, Größe, Preis oder Variationen ebenfalls eine Masse an einzigartigen URLs schaffen, die vom Crawler bearbeitet werden.
—
Lösungen, um das Crawl-Budget effizienter zu nutzen
Es gibt mehrere Ansätze, um sicherzustellen, dass Suchmaschinen effizienter crawlen und sich auf die für die SEO wichtigsten Seiten konzentrieren:
Noindex, Follow
Eine mögliche Methode ist, gefilterte URLs mit einem **noindex, follow**-Meta-Tag auszustatten. Dadurch wird der Suchmaschine mitgeteilt, dass diese Seite nicht indexiert werden soll, jedoch die Links auf dieser Seite weiter verfolgt werden können. Das sorgt dafür, dass Suchmaschinen die Navigation deiner Website weiterhin durchlaufen.
### Canonical-Tags
Canonical-Tags können ebenfalls dabei helfen, dass du falsche Duplikate von gefilterten URLs vermeidest. Wenn mehrere URLs denselben oder sehr ähnlichen Content anzeigen, kannst du die Suchmaschine darauf hinweisen, dass eine bestimmte URL als die offizielle Version betrachtet werden soll. Das hilft dabei, Suchmaschinen zu leiten und zu verhindern, dass wertvolles Crawl-Budget auf doppelte Inhalte verwendet wird.
Beispiel: Wenn eine Website mehrere gefilterte URL-Varianten der gleichen Location-Seite erstellt, kann jede gefilterte Version über einen Canonical-Tag auf die Hauptseite der Location verweisen.
—
Warum du die Disavow-Funktion nicht missbrauchen solltest
Der Einsatz eines **Disavow-Tools** hat nichts mit der Optimierung deines Crawl-Budgets zu tun. Dieses Tool wird verwendet, um Google mitzuteilen, dass bestimmte Backlinks zu deiner Domain schädlich sind, sodass sie nicht zu deiner Autorität beitragen sollten. Es ist jedoch ein häufiger Fehler, wenn eigene gefilterte Seiten oder interne Links in einer Disavow-Datei landen. Dies könnte als Signal verstanden werden, dass deine eigene Seite Spam sei – was für SEO verheerend ist.
—
Die Kraft von Robots.txt
Die effektivste Lösung, um unnötiges Crawling zu stoppen, ist die Verwendung der Datei **robots.txt**. Du kannst in dieser Datei explizit angeben, welche Seiten oder Parameter von Suchmaschinenbots ignoriert werden sollen.
Ein Beispiel für Filter-URLs:
„`txt
Disallow: /*?filter=
Disallow: /search
„`
Mit Hilfe der Robots.txt-Datei kannst du klar definieren, welche Parameter oder Suchpfade ausgeschlossen werden sollen, und so dein Crawl-Budget schützen und auf relevante Seiten konzentrieren.
—
Optimierung durch interne Verlinkungen
Interne Links, wie Breadcrumbs, Kategorien oder Menüführung, helfen Suchmaschinen dabei, die Struktur deiner Website besser zu verstehen und die wichtigsten Seiten zu priorisieren. Indem du deine internalen Verlinkungen optimierst, stärkst du die Rangrelevanz deiner Hauptseiten.
Wichtige Verlinkungen innerhalb deiner Website umfassen:
– Navigationsmenüs
– Verlinkungen innerhalb von Blog-Artikeln
– Kategorien und Unterkategorien
– Breadcrumbs zur Orientierung
Zusätzlich solltest du XML-Sitemaps verwenden, um eine klare Hierarchie deiner Seiten vorzugeben. Diese sollte Suchmaschinen auf die wichtigen Bereiche deiner Website lenken.
—
Zusammenfassung und Empfehlungen
Wenn Filterergebnisse dein Crawl-Budget übermäßig belasten, gibt es mehrere Schritte, die du unternehmen kannst:
1. Nutze **Meta-Tags** wie `noindex, follow` für gefilterte Ergebnisse, um Indexierungen zu vermeiden.
2. Implementiere **Canonical-Tags**, die auf die Hauptversion der Seite verweisen.
3. Optimiere deine Datei **robots.txt**, um unnötige URL-Parameter vom Crawling auszuschließen.
4. Setze auf klare und strategische **interne Verlinkungen**, um deiner Seitenstruktur deutlich zu machen, welche Seiten Priorität haben.
5. Verwende eine saubere **XML-Sitemap**, falls Google wichtige Seiten aufgrund von Filter-URLs nicht findet.
Diese Maßnahmen helfen nicht nur, dein Crawl-Budget zu optimieren, sondern tragen langfristig auch dazu bei, dass relevante Seiten deiner Website besser ranken. Denk daran: Ein durchdachter und gut organisierter Indexierungsprozess ist entscheidend für den SEO-Erfolg!
