Crawl budget popisuje množství a frekvenci procházení, které Google věnuje webu. Vychází z kapacity serveru pro Googlebot a z poptávky Googlu po jednotlivých URL.
Co je crawl budget?
Crawl capacity limit určuje, kolik souběžných požadavků server bezpečně zvládne. Crawl demand vyjadřuje, jak moc chce Google konkrétní URL znovu procházet podle popularity, změn a dalších signálů.
Kdy ho řešit
Crawl budget má význam hlavně u velmi velkých nebo rychle se měnících webů. Rizikem jsou miliony parametrických URL, fasetová navigace, interní vyhledávání a často měněné katalogy.
U malého firemního webu nebývá hlavní příčinou chybějící indexace. Častější je blokace, špatný canonical, slabý obsah, osiřelá URL nebo jiný technický problém.
Kdy je to ztráta času
Pokud Google důležité stránky pravidelně prochází a změny se dostávají do indexu, složitá optimalizace crawl budgetu pravděpodobně nemá prioritu.
Jak omezit plýtvání
- Zabraňte vzniku nekonečných kombinací filtrů a parametrů.
- Opravte smyčky, dlouhé řetězce přesměrování a chyby serveru.
- Udržujte interní odkazy a sitemapy na kanonických URL.
- Sledujte serverové logy a statistiky procházení v GSC.
Soubor robots.txt řídí procházení, ne odstranění z indexu. Blokovaná URL může v indexu zůstat, pokud ji Google zná z jiných odkazů.