SEO techniczne
robots.txt, czyli instrukcje dla robotów.
W skrócie
Plik w głównym katalogu strony, który mówi robotom wyszukiwarek i botom AI, do których części witryny mogą zaglądać. Blokuje skanowanie, ale nie gwarantuje, że adres nie trafi do indeksu.
Jak działa
Plik robots.txt leży pod adresem domena.pl/robots.txt. Zawiera grupy reguł dla konkretnych robotów (User-agent) z listą ścieżek, które mogą (Allow) lub nie mogą (Disallow) skanować. Może też wskazywać mapę witryny. Porządne roboty, jak Googlebot czy boty dużych firm AI, stosują się do tych reguł.
Przykład
User-agent: * oznacza wszystkie roboty, a Disallow: /koszyk/ blokuje skanowanie koszyka. Osobna grupa User-agent: GPTBot z Disallow: / zablokuje bota OpenAI zbierającego dane do trenowania, nie ruszając Googlebota. Gdy bot ma własną grupę, Google stosuje tylko ją, a reguły dla gwiazdki pomija.
Czego robots.txt nie robi
- Nie usuwa stron z indeksu. Zablokowany adres może nadal pojawić się w wynikach, jeśli prowadzą do niego linki, tylko bez opisu. Do wykluczenia z wyników służy noindex.
- Nie chroni prywatnych danych. Plik jest publiczny, a złośliwe boty go ignorują.
- Nie wpływa na boty, które go nie respektują.
Najczęstsze błędy
- Disallow: / pozostawione po pracach na wersji testowej, przez które cała strona znika z Google.
- Blokowanie plików CSS i JavaScript potrzebnych do wyrenderowania strony.
- Blokowanie strony, na której jest noindex, przez co Google nie może go zobaczyć.
- Przypadkowe zablokowanie botów wyszukiwarek AI razem z botami trenującymi modele.