Plik robots.txt to plik konfiguracyjny umieszczony w głównym katalogu strony, który instruuje roboty wyszukiwarek, które zasoby mogą być indeksowane. Dzięki niemu można blokować dostęp do niektórych katalogów lub plików. Ważne jest, aby stosować go ostrożnie – błędna konfiguracja może spowodować usunięcie strony z wyników wyszukiwania. To kluczowy element optymalizacji SEO technicznego.