Bot indeksujący to program wyszukiwarki, który odwiedza strony internetowe w celu ich analizy i dodania do indeksu. Boty analizują treść, strukturę i linki na stronie. Poprawna konfiguracja robots.txt i mapy strony ułatwia botom prawidłowe skanowanie serwisu. Nadmierne blokowanie botów może ograniczyć widoczność w Google. Z kolei optymalizacja pod kątem botów sprzyja lepszemu pozycjonowaniu.