Generator robots.txt (boty AI)

Generator robots.txt — blokada botów AI

Boty AI (GPTBot, ClaudeBot, CCBot i inne) zbierają treści z internetu do trenowania modeli. Jeśli nie chcesz, aby Twoje treści były w ten sposób wykorzystywane, możesz zablokować je w robots.txt.

Popularne boty AI

Ważne ograniczenia

• robots.txt to prośba, nie techniczna blokada — część botów ją ignoruje.
• Google-Extended nie wpływa na wyszukiwarkę Google — dotyczy tylko trenowania Gemini.
• Blokada robota AI nie obniży pozycji w klasycznym wyszukiwaniu.
• Skuteczniejsza bywa blokada po User-Agent w konfiguracji serwera lub na WAF.

Jak działa generator robots.txt dla botów AI

Narzędzie działa na zasadzie prostego mapowania: każde pole wyboru w formularzu odpowiada dokładnie jednej wartości User-Agent z listy dziesięciu botów. Po zaznaczeniu pozycji generator wypisuje dla niej dwie linie — User-agent: nazwa_bota oraz Disallow: /. Ukośnik w dyrektywie Disallow oznacza całą witrynę, od katalogu głównego w dół. Niezaznaczone pozycje nie trafiają do pliku wcale, co jest równoznaczne z pozostawieniem botowi swobodnego dostępu — robots.txt działa bowiem na zasadzie domyślnego Allow.

Każda grupa jest niezależna. Parser czytający plik najpierw szuka grupy pasującej do własnego User-Agent, a dopiero potem stosuje jej dyrektywy. Blok GPTBot nie wpływa więc na Googlebot, a blokada ChatGPT-User nie dotyczy GPTBot — to dwa odrębne wpisy, mimo że za oba odpowiada OpenAI. Dlatego liczba grup w pliku rośnie liniowo wraz z liczbą zaznaczonych botów: dziesięć zaznaczonych pozycji to dziesięć grup.

Plik ma postać czystego tekstu i jest wczytywany wtedy, gdy robot rozpoczyna nową wizytę. Zmiana w generatorze nie działa natychmiast u wszystkich botów — część parserów trzyma zawartość w pamięci podręcznej i wraca do niej po pewnym czasie. Wpis dotyczy wyłącznie tej domeny i tego protokołu, pod którym plik został udostępniony, więc osobna subdomena wymaga własnego robots.txt.

Przykład krok po kroku — sześć botów z dziesięciu

1. Otwierasz generator i widzisz dziesięć pozycji: GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, Bytespider, PerplexityBot, Applebot-Extended, meta-externalagent oraz cohere-ai.
2. Zaznaczasz sześć z nich: GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot i PerplexityBot. To 6 z 10 dostępnych pozycji.
3. Generator buduje sześć grup, każda po dwie linie — User-agent oraz Disallow. Razem daje to 6 x 2 = 12 linii dyrektyw.
4. Grupy oddziela pięć pustych linii, więc gotowy plik ma 12 + 5 = 17 linii.
5. Bez wpisu zostają cztery boty: Bytespider, Applebot-Extended, meta-externalagent i cohere-ai, czyli 4 z 10 pozycji, a więc 40% listy nadal ma wolny dostęp.
6. Wgrywasz plik do katalogu głównego domeny i otwierasz adres twojadomena.pl/robots.txt, aby potwierdzić, że zawartość zgadza się z podglądem z generatora.

Lista botów obsługiwanych przez generator

Jak używać generatora w praktyce

• Zdecyduj, co chcesz odciąć. Dziesięć pozycji na liście nie jest jednym workiem. Blokada botów treningowych to inna decyzja niż blokada ChatGPT-User, który odpowiada za tryb przeglądania na żądanie użytkownika.
• Zacznij od podglądu, nie od wdrożenia. Najpierw zaznacz boty, skopiuj wynik i porównaj go z tym, co już masz na serwerze. Nadpisanie istniejącego pliku bez kopii zapasowej oznacza utratę wcześniejszych reguł.
• Jeśli blokujesz tylko część witryny, wybierz ścieżki. Zamiast zaznaczać całą listę, możesz dopisać do wygenerowanych grup własne dyrektywy Disallow ze wskazaniem konkretnych katalogów.
• Zweryfikuj plik po wgraniu. Wejdź bezpośrednio na adres twojadomena.pl/robots.txt i sprawdź, czy serwer zwraca kod 200 oraz tekst, a nie stronę błędu.
• Traktuj robots.txt jako pierwszą warstwę. Jeżeli zależy Ci na twardym odcięciu, uzupełnij plik regułami po User-Agent w konfiguracji serwera albo w regułach WAF.

Czego generator nie uwzględnia

• Lista jest zamknięta. Generator obsługuje wyłącznie dziesięć botów wymienionych w narzędziu. Nowe roboty AI albo pomniejsze crawler'y trzeba dopisać do pliku ręcznie.
• Brak scalania z istniejącym plikiem. Narzędzie tworzy treść od zera i nie czyta tego, co już leży na serwerze, więc wygenerowany wynik trzeba samodzielnie połączyć z obecnymi regułami.
• Brak walidacji pozostałych dyrektyw. Generator nie sprawdza składni wpisów Sitemap, Crawl-delay ani reguł Allow dla innych botów — te elementy pozostają poza jego kontrolą.
• Tożsamość bota opiera się na deklaracji. Narzędzie blokuje wpis zgodny z podanym User-Agent. Crawler, który przedstawia się inaczej, nie zostanie objęty żadną z wygenerowanych grup.

Najczęstsze pytania