DARMOWE NARZĘDZIE

Generator Robots.txt

Twórz profesjonalne pliki robots.txt online. Ustaw reguły dla crawlerów (Googlebot, Bingbot i innych), dodaj ścieżki Allow/Disallow, Sitemap i Crawl-delay — bez znajomości składni. Profesjonalne narzędzie online, które działa w Twojej przeglądarce. Szybko, bezpiecznie i bez instalowania zbędnego oprogramowania.

Bezpieczne (SSL)

Przetwarzanie Lokalne

100% Darmowe

Przejdź do narzędzia

Instrukcja

1

Wprowadź dane
Wpisz treść, wklej tekst lub załaduj plik z dysku.
2

Kliknij przycisk
Narzędzie natychmiast przetworzy Twoje dane w przeglądarce.
3

Pobierz wynik
Skopiuj gotowy tekst lub zapisz plik na urządzeniu.

                                                function runTool() {

                                                  return "Wynik gotowy w 0.1s";

                                                }

Ustawienia

User-agent (krawler)

Własna nazwa crawlera

Ścieżki Allow (każda w nowej linii)

18 zn.

Ścieżki Disallow (każda w nowej linii)

40 zn.

Adresy Sitemap (każdy w nowej linii)

69 zn.

Host (opcjonalnie, np. example.com)

Crawl-delay (sekundy, opcjonalnie)

Dodaj komentarze do pliku Opcja narzędzia

Wynik — robots.txt

Uzupełnij ustawienia i kliknij „Generuj robots.txt", aby zobaczyć plik.

Powiązane narzędzia

Inne narzędzia, które mogą Ci się przydać

Generator pliku robots.txt

Generator pliku robots.txt to bezpłatne narzędzie online, które pozwala w kilka sekund stworzyć poprawny plik robots.txt — bez konieczności ręcznego pisania kodu. Wystarczy wybrać krawler, wpisać ścieżki i kliknąć „Generuj". Gotowy plik możesz skopiować lub pobrać od razu.

robots.txt SEO techniczne crawl control Googlebot darmowe online

Do czego służy plik robots.txt?

Plik robots.txt to standardowy mechanizm informowania robotów wyszukiwarek (crawlerów), które obszary witryny mogą indeksować, a które powinny pomijać. Dzięki niemu możesz zablokować dostęp do panelu admina, stron logowania czy katalogów tymczasowych, a jednocześnie wyraźnie wskazać ścieżki dopuszczone do indeksacji. Możesz też podać adresy map witryny (Sitemap) oraz opóźnienie pobierania stron (Crawl-delay), co pomaga chronić serwer przed przeciążeniem.

Jak używać generatora?

Wybierz docelowy krawler (np. Googlebot, Bingbot lub wszystkie crawlery), wprowadź ścieżki Disallow (blokowane) oraz opcjonalnie ścieżki Allow (wyraźnie dopuszczone). Jeśli masz mapę witryny, podaj jej adres URL. Opcjonalnie ustaw Crawl-delay oraz podaj domenę Host. Po kliknięciu „Generuj robots.txt" otrzymasz gotowy plik, który możesz skopiować do schowka lub pobrać jako robots.txt i wgrać do głównego katalogu swojej domeny.

Najczęstsze pytania

Gdzie umieścić plik robots.txt?

Plik robots.txt musi znajdować się w głównym katalogu domeny, dostępnym pod adresem https://example.com/robots.txt. Krawlery Google i Bing automatycznie sprawdzają tę lokalizację przed rozpoczęciem indeksacji witryny.

Czy robots.txt blokuje dostęp do strony?

Nie — plik robots.txt to jedynie wskazówka dla robotów, które go respektują. Nie stanowi zabezpieczenia przed dostępem człowieka ani nierespektujących botów. Jeśli chcesz chronić zasoby, użyj autoryzacji HTTP lub reguł serwera (.htaccess).

Czym różni się Allow od Disallow?

Dyrektywa Disallow zabrania crawlerowi odwiedzania podanej ścieżki. Dyrektywa Allow jawnie zezwala na dostęp do ścieżki, nawet jeśli nadrzędna reguła Disallow ją blokuje. Najczęściej używa się Allow do udostępnienia podzbioru zablokowanego katalogu, np. zezwalając na /admin/public/ przy jednoczesnym blokowaniu /admin/.

Co to jest Crawl-delay?

Crawl-delay określa minimalny czas (w sekundach) pomiędzy kolejnymi żądaniami crawlera. Pomaga ograniczyć obciążenie serwera podczas intensywnego indeksowania. Google oficjalnie nie obsługuje tej dyrektywy (zarządzaj szybkością indeksowania w Google Search Console), natomiast Bingbot i inne crawlery ją respektują.