Googlebot je robot Googlu, který prochází web, stahuje stránky a posílá je k indexaci. Web vidí podobně jako prohlížeč, včetně spuštění JavaScriptu.
Co je Googlebot?
Je to konkrétní program, který dělá crawling pro Google. Chodí po odkazech, stahuje HTML, načítá zdroje a moderní verze umí i vyrenderovat stránku se spuštěným JavaScriptem, aby viděla obsah tak jako uživatel. Existuje ve variantě pro mobil i desktop, přičemž Google hodnotí weby primárně podle mobilní verze.
Jak Googlebot vidí váš web
Tady bývá zrada: nepředpokládejte, podívejte se. Co je závislé na složité interakci nebo na JavaScriptu, který se nenačte, nemusí Googlebot vidět. U webů postavených na JavaScriptu (React, Next.js) je rozdíl mezi tím, co vidíte vy a co robot, nejčastější skrytá příčina problémů.
Jak si jeho pohled ověřit
- Kontrola URL v Google Search Console ukáže vyrenderované HTML i screenshot, jak stránku Googlebot viděl.
- Test vhodnosti pro mobily a nástroje na rendering odhalí, co se nenačte.
- Logy serveru ukážou, kudy robot reálně chodí a kde se zasekává.
Ověření, že pravý Googlebot je opravdu Googlebot (a ne podvržený robot), se dělá zpětným DNS dotazem na jeho IP.