Kategorien
Weblog

SEO-Grundlagen: Was ist das Crawl Budget?

Das Thema Content zu löschen, der ohnehin nicht aufgerufen wird, nicht konvertiert oder schlicht veraltet ist, hatten wir ja schon. Einer der Gründe für solche Maßnahmen ist das Crawl-Budget von Google. 

Auch wenn einige sicher glauben Google hätte das gesamte Web indiziert und durchsuchbar gemacht, hat selbst der Branchenprimus nur einen Bruchteil davon erfasst. Dabei rede ich nicht einmal vom Deep Web, geschlossenen Datenbanken oder was sonst alles zwar Bestandteil des Internets ist, aber nicht für jeden sichtbar sein soll. Es geht tatsächlich um das, was wir allgemein unter dem Begriff “Internet” verstehen. Das ist längst so riesig, dass auch der stets aktive Googlebot von vielen Webseiten nicht den gesamten Inhalt indiziert, sondern dem Webauftritt nur eine bestimmte Anzahl Seiten gibt, die er crawlt. Sinnigerweise bezeichnen SEO dies als Crawl Budget 

Das bedeutet also, ist das Crawl Budget kleiner, als die Anzahl der einzelnen Elemente eines Webauftritts, werden Inhalte nur solange indiziert, bis das Budget zu Ende gegangen ist. 

Jetzt möchte man natürlich gerne wissen, wie hoch das Crawl Budget ist, das Google einem zugedacht hat. Wie so viele andere Dinge, behält Google das allerdings für sich. Allerdings gibt es natürlich Möglichkeiten es abzuschätzen bzw. gewarnt zu werden, falls ein Problem vorliegt. 

Hilfe findet man in der Google Search Console. In der neuen Version sind die Crawl-Statistiken ein wenig versteckt. Anhand der Grafik links dürftet ihr sie aber finden. (Sorry, für die Englische Version, aber mein Edge-Beta-Browser hat noch keine deutsche Kennung.) Etwas ungenauer, aber für einen groben Überblick auch geeignet ist die leichter zu findende Zahl der indizierten Seiten.

Diese Zahl vergleicht man jetzt mit der Zahl seiner Inhalte. Aber Achtung, zu den Inhalten eines Blogs oder eines Shops gehören nicht nur die Beiträge bzw. Produktartikel, sondern auch die verschiedenen Grafiken, PDFs, Videos usw. usf. Manche Content Management Systeme sind hier hilfreicher als andere. Die Anzahl der Beiträge / Produktartikel dürfte leicht zu finden sein, die anderen Dateien muss man notfalls schätzen oder besser einfach zählen. (In der Regel kann ein gutes FTP-Programm die Anzahl der Dateien z.B. in einem Bilderordner automatisch ermitteln. Falls nicht, empfehle ich wie immer WS_FTP Lite.)

Wie kann ich mein Crawl Budget erhöhen?

Leider kann man Google nicht um eine Erhöhung des Budgets bitten, aber man kann seine Seite attraktiver machen. Das geschieht durch typische SEO-Maßnahmen. Experten empfehlen in diesem Fall vor allem

  • die Antwortzeit des Servers zu optimieren,
  • die Ladezeit der Webseite zu optimieren und
  • Serverfehler wie 404er zu vermeiden.

Und es ist natürlich hilfreich all die Inhalte zu entfernen, die ohnehin keinen Traffic bringen und so keinen Platz mehr im Crawl Budget wegnehmen.

Was sollte ich mit Blick auf das Crawl Budget generell beachten?

Der Googlebot hangelt sich im Grunde von Link zu Link, deshalb kann man seine Webseite hier sogar relativ einfach optimieren:

  • Stelle eine XML Sitemap in die Google Search Console.
  • Nutze das Linkattribut Nofollow, wenn es angebracht ist.
  • Sorge für eine flache Seitenstruktur.
  • Optimiere deine interne Verlinkung.

Außerdem sollte man regelmäßig seine Weiterleitungen prüfen und jene entfernen, die nicht mehr genutzt werden. Der Googlebot zählt Link für Link, weshalb er zwei Links aus dem Budget abzieht, wenn er einer internen oder externen Weiterleitung folgt.

Von Thomas Matterne

Thomas Matterne ist ausgebildeter Journalist mit einem Diplom in Wirtschaftsinformatik. Er arbeitete als Leiter der Online Redaktion von TV touring und als Chefredakteur von DenkZeit. Aktuell schreibt er neben dieser Seite in diversen anderen Online-Veröffentlichungen, wie z.B. das Kaffee Journal. Auf dieser Seite finden sich vor allem Themen aus den Bereichen Content- und Online-Marketing, sowie dem Feld IT allgemein.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.