SEO techniczne
Crawl budget, czyli budżet indeksowania.
W skrócie
Liczba adresów, które Googlebot jest w stanie i chce przeskanować na stronie w danym czasie. Ma realne znaczenie głównie w dużych serwisach, np. sklepach z dziesiątkami tysięcy produktów.
Inne nazwy: budżet indeksowania
Z czego się składa
Google nie skanuje wszystkich stron w sieci bez przerwy. Na crawl budget składają się dwie rzeczy: ile zapytań serwer jest w stanie obsłużyć bez spowolnienia (crawl capacity) i jak bardzo Google chce stronę odwiedzać, bo jest popularna i często się zmienia (crawl demand).
Kogo dotyczy
Google pisze wprost, że temat dotyczy głównie dużych serwisów: od około miliona unikalnych stron zmieniających się co tydzień albo od 10 tysięcy stron zmieniających się codziennie. Do tego dochodzą strony z dużą liczbą adresów oznaczonych w Search Console jako „Wykryta - obecnie nie zindeksowana”. Mała strona firmowa zwykle nie musi się nim przejmować.
Co marnuje crawl budget
- Kombinacje filtrów i sortowania w sklepie, które tworzą tysiące niepotrzebnych adresów.
- Parametry w URL, np. identyfikatory sesji czy kody kampanii.
- Łańcuchy przekierowań i błędy 404 w linkach wewnętrznych.
- Zduplikowane strony bez canonical.
- Wolny serwer, przez który Google ogranicza tempo skanowania.
Jak to poprawić
Zablokuj w robots.txt adresy, które nie powinny być skanowane, np. wyniki wyszukiwania wewnętrznego czy część filtrów. Usuń zbędne linki do takich stron, popraw przekierowania i przyspiesz serwer. W mapie witryny trzymaj tylko adresy, które mają być w indeksie.