Skip to main content

Google empfiehlt das Blockieren von Action-URLs per robots.txt

Google rät dazu, Action-URLs per robots.txt für das Crawlen zu sperren, um sich auf wichtige URLs zu konzentrieren. Diese Empfehlung stammt von Gary Illyes und betrifft URLs, die bestimmte Aktionen auslösen, wie das Hinzufügen von Produkten in den Warenkorb oder zu einer Wunschliste.

Hintergrund und Details

Illyes erklärte auf LinkedIn, dass Google oft kritisiert wird, zu viele Ressourcen von Webservern zu beanspruchen, obwohl dies meist keine Probleme verursacht. Bei der Prüfung der URLs der betroffenen Websites stellte sich heraus, dass es sich häufig um Action-URLs handelt, die für den Crawler nutzlos sind.

Empfehlungen zur Umsetzung

Um solche URLs auszuschließen, sollten Disallow-Regeln zur robots.txt hinzugefügt oder die entsprechenden Aktionen auf POST-Requests umgestellt werden. Insbesondere für große Websites mit vielen Tausenden URLs kann dies sinnvoll sein, um Ressourcen zu schonen.

Weitere Informationen

  • Blockieren von Action-URLs hilft, das Crawl-Budget effizient zu nutzen.
  • Manche Crawler könnten allerdings auch POST-Requests verarbeiten.
Jetzt kontaktieren