Crawling to proces skanowania strony internetowej przez boty wyszukiwarek. Roboty analizują strukturę witryny, treści oraz linki, aby zindeksować stronę w wynikach wyszukiwania. Efektywne crawling zależy od optymalnej budowy strony i pliku robots.txt. Dzięki prawidłowej konfiguracji możemy ułatwić botom indeksowanie najważniejszych treści.