Googlebot je crawler Googlu. Objevuje URL, stahuje HTML a další povolené zdroje a předává obsah systémům, které jej zpracují pro vyhledávání.
Co je Googlebot?
Googlebot následuje odkazy, čte sitemapy a znovu navštěvuje známé URL. Google používá různé crawlery a identifikátory podle produktu a účelu.
U běžného vyhledávání Google používá převážně mobilní crawler. JavaScript následně vykresluje Web Rendering Service založená na Chromiu; crawling a rendering proto nejsou jeden okamžitý krok.
Jak Google vidí web
Google nejdřív zpracuje stažené HTML a poté může stránku zařadit do fronty na vykreslení. Skripty, síťové požadavky nebo blokované zdroje mohou změnit konečný výsledek.
Obsah závislý na kliknutí, posunu nebo přihlášení robot běžně nezíská stejným způsobem jako uživatel. Důležité indexovatelné informace proto poskytujte robustně.
Jak výsledek ověřit
- Kontrola URL v Google Search Console ukáže stav indexace a posledního procházení.
- Živý test pomůže porovnat aktuální odpověď se stavem v indexu.
- Serverové logy ukážou skutečné požadavky crawlerů.
- Porovnání zdrojového a vyrenderovaného HTML odhalí rozdíly.
User-agent lze podvrhnout. Pokud potřebujete ověřit skutečný Googlebot, použijte postup Googlu založený na reverzním a následném dopředném DNS ověření IP adresy.