Crawl budget je množství zdrojů, které vyhledávač přidělí procházení vašeho webu. Reálný problém je hlavně u velkých webů, u malých se řešit nemusí.
Co je crawl budget?
Googlebot nemá neomezený čas. Kolik vašich stránek a jak často projde, závisí na tom, jak rychle web odpovídá a jak důležitý a zdravý se jeví. Když robot tráví čas na zbytečných URL, na ty důležité mu nemusí zbýt.
Kdy ho řešit
Upřímně, většina webů crawl budget řešit nemusí. Stává se z něj strašák z konferencí i tam, kde nehraje roli. Reálně začíná dávat smysl u webů s desítkami a stovkami tisíc URL: velké e-shopy s fasetovou navigací, portály, weby generující nekonečné kombinace filtrů. Tam robot snadno utopí čas v bezcenných variantách.
Kdy je to ztráta času
U běžného firemního webu nebo blogu s pár stovkami stránek je obava o crawl budget většinou mimo. Čas lépe investujete do obsahu, interního prolinkování a rychlosti. Pokud se přesto malý web neindexuje, příčina skoro nikdy není crawl budget, ale kvalita nebo technická chyba.
Jak jím neplýtvat (u velkých webů)
- Nenechte robota procházet nekonečné filtry a interní vyhledávání.
- Hlídejte přesměrování a chyby, ať robot neztrácí čas ve slepých uličkách.
- Držte web rychlý. Rychlejší odpovědi znamenají více projitých stránek.