Crawl budget (budżet indeksowania, współczynnik indeksacji) określa liczbę stron i adresów URL, które zostaną zaindeksowane przez roboty Google. Innymi słowy określa czas i zasoby, poświęcone przez boty na indeksację tychże podstron. Współczynnik ten opiera się na dwóch bardzo ważnych czynnikach:
- Crawl Rate Limit
- Crawl Demand
Crawl Rate Limit, czyli limit indeksowania, określa ilość indeksowania, którą jest w stanie obsłużyć dana strona internetowa. Limit ten został wprowadzony, aby zapobiec przeciążeniu serwerów (przez wysyłkę zbyt wielu zapytań przez roboty Google i indeksowaniu zbyt wielu podstron w zbyt krótkim czasie). Crawl Rate Limit może być zmieniony w Google Search Console.
Crawl Demand określa zapotrzebowanie na indeksowanie podstron, oparte na ich popularności i częstotliwości ich aktualizacji. Czynnik ten rośnie wraz z aktualnością treści na stronach.
Crawl Budget może być analizowany poprzez Google Search Console, gdzie dostępne są informacje i dane takie jak: liczba stron indeksowanych dziennie, czas spędzony na pobieraniu strony i liczba kilobajtów danych pobieranych dziennie.
