Crawling Budget
Das Crawling Budget ist die Gesamtheit der Mittel, die Google einsetzt, um eine bestimmte Website zu indexieren.
Das Crawling Budget ist die Gesamtheit der Mittel, die Google einsetzt, um eine bestimmte Website zu indexieren.
Wie hoch dieses Budget ist, ist von Webseite zu Webseite unterschiedlich.
Faktoren hierbei sind z.B.
Webmaster sollten die eigene Webseite demnach so optimieren, dass das Crawling Budget so gut wie möglich ausgenutzt wird, indem z.B. die Sitemap stets gepflegt, die internen Links sowie die robots.txt optimiert werden und v.a. auch die Aktivitäten des Crawlers zu tracken, so dass man als Webmaster weiß, was der Crawling-Bot auf der eigenen Webseite genau tut, um dadurch Optimierungspotential zu erkennen und umzusetzen.