Darmowe narzędzie
Sprawdź, czy boty AI widzą Twoją stronę.
Wpisz adres strony. Sprawdzę robots.txt, odpowiedź serwera dla botów ChatGPT, Perplexity, Claude, Google i innych, a na koniec dostaniesz gotowy robots.txt do skopiowania.
Nie zapisuję wpisanych adresów.
Jak czytać wynik.
robots.txt
Plik z instrukcjami dla botów. Pokazuję, czy dany bot może wejść na stronę główną i która reguła o tym decyduje.
Serwer
Dla botów AI wysyłam zapytanie z ich nagłówkiem. Odrzucenie zwykle oznacza blokadę w firewallu albo w Cloudflare. Googlebota, Bingbota i Applebota nie testuję, bo duże serwisy odrzucają podszywanie się pod nie, a prawdziwe boty rozpoznają po adresie IP.
Dwie grupy botów
Jedne wyszukują i cytują strony w odpowiedziach, inne zbierają treści do trenowania modeli. Można wpuścić pierwsze i zablokować drugie.
Gotowy robots.txt.
Wybierz, jak chcesz traktować boty AI, i skopiuj reguły do swojego pliku robots.txt.
Zablokowanie Google-Extended wyłącza też korzystanie z Twoich treści w odpowiedziach aplikacji Gemini. Na wyszukiwarkę Google i AI Overviews nie ma wpływu.
Boty wyszukiwarek AI a boty trenujące modele.
Kiedy ktoś pyta ChatGPT czy Perplexity o firmę z Twojej branży, narzędzie szuka odpowiedzi w internecie na bieżąco. Robią to boty takie jak OAI-SearchBot, PerplexityBot czy Claude-SearchBot. Jeśli je zablokujesz, AI nie przeczyta Twojej strony i nie będzie miało jej z czego zacytować.
Druga grupa to boty, które zbierają treści do trenowania przyszłych modeli: GPTBot, ClaudeBot, Google-Extended, CCBot. Ich zablokowanie nie usuwa Cię z wyszukiwania w AI. To decyzja o tym, czy Twoje teksty mogą posłużyć do uczenia modeli.
Osobna sprawa to boty działające na prośbę użytkownika, jak ChatGPT-User czy Perplexity-User. Otwierają stronę, gdy ktoś wklei link albo poprosi o sprawdzenie konkretnego adresu. OpenAI i Perplexity piszą wprost, że takie wizyty mogą nie stosować się do robots.txt.
Czy blokować boty AI?.
Jeśli zależy Ci na klientach, prawie zawsze warto wpuścić boty wyszukiwarek AI. Bez tego oddajesz rekomendacje konkurencji.
Boty trenujące to kwestia wyboru. Wydawcy i autorzy treści często je blokują. Firmy usługowe i sklepy zwykle nic na tym nie tracą ani nie zyskują, więc mogą zrobić tak, jak im wygodniej.
Najgorsza sytuacja to blokada, o której nikt nie wie. Często ustawia ją wtyczka, firewall albo domyślna opcja w Cloudflare, a nie świadoma decyzja.
robots.txt jest w porządku, a boty i tak nie wchodzą.
Robots.txt to tylko prośba. Serwer, firewall albo Cloudflare mogą odrzucać boty niezależnie od niego. Jeśli w kolumnie „Serwer” widzisz blokadę, zajrzyj do ustawień zabezpieczeń hostingu albo do sekcji dotyczącej botów AI w panelu Cloudflare. Test wysyła zapytanie z nagłówkiem bota, ale z adresu Cloudflare, nie z serwerów OpenAI czy Google. Prawdziwy bot może zostać potraktowany inaczej, dlatego wynik serwera traktuj jako wskazówkę.
Źródła
- Overview of OpenAI crawlers OpenAI
- Perplexity crawlers Perplexity
- List of Google's common crawlers Google
- Anthropic crawlers Anthropic
- About Applebot Apple
Pytania o boty AI.
Jak sprawdzić, czy ChatGPT ma dostęp do mojej strony?
Wpisz adres w narzędziu powyżej. Najważniejszy jest OAI-SearchBot, bo od niego zależy obecność w wyszukiwaniu ChatGPT. Jeśli jest zablokowany w robots.txt albo przez serwer, ChatGPT nie przeczyta strony.
Czy zablokowanie GPTBot usuwa mnie z ChatGPT?
Nie. GPTBot zbiera treści do trenowania modeli OpenAI. Za wyszukiwanie w ChatGPT odpowiada OAI-SearchBot. Możesz zablokować GPTBot i nadal pojawiać się w odpowiedziach z wyszukiwania.
Czy Google-Extended wpływa na pozycje w Google?
Nie. Według Google to tylko oznaczenie w robots.txt, które decyduje o trenowaniu Gemini i korzystaniu z treści w aplikacjach Gemini. Nie ma wpływu na obecność w wyszukiwarce Google.
Czym jest llms.txt?
To prosty plik tekstowy w głównym katalogu strony, który w kilku zdaniach opisuje firmę i wskazuje najważniejsze podstrony. To propozycja standardu, a nie wymóg. Przygotowanie go zajmuje kilka minut, więc nie ma powodu, żeby go nie mieć.
Jak szybko boty AI zauważą zmianę w robots.txt?
OpenAI i Perplexity piszą, że zmiana może zacząć działać po około 24 godzinach. Pozostałe boty odczytują plik w swoim rytmie.
Chcesz, żeby AI polecało Twoją firmę?.
Dostęp dla botów to dopiero początek. W audycie GEO sprawdzam, co ChatGPT, Perplexity i AI Overviews mówią o Twojej marce i kogo polecają zamiast niej.