Generator pliku robots.txt
Twórz profesjonalne pliki robots.txt online. Ustaw reguły dla crawlerów (Googlebot, Bingbot i innych), dodaj ścieżki Allow/Disallow, Sitemap i Crawl-delay — bez znajomości składni.
-
1Wprowadź dane
Wpisz treść, wklej tekst lub załaduj plik z dysku. -
2Kliknij przycisk
Narzędzie natychmiast przetworzy Twoje dane w przeglądarce. -
3Pobierz wynik
Skopiuj gotowy tekst lub zapisz plik na urządzeniu.
return "Wynik gotowy w 0.1s";
}
# robots.txt generated by Toolsti Robots.txt Generator # Place this file at the root of your domain: /robots.txt # Review rules carefully before publishing. User-agent: * Allow: / Allow: /public/ Allow: /blog/ Disallow: /admin/ Disallow: /login/ Disallow: /private/ Disallow: /search Disallow: /tmp/ Crawl-delay: 10 Host: example.com Sitemap: https://example.com/sitemap.xml Sitemap: https://example.com/sitemap-blog.xml
Oceń to narzędzie:
Powiązane narzędzia
Inne narzędzia, które mogą Ci się przydaćGenerator pliku robots.txt
Generator pliku robots.txt to bezpłatne narzędzie online, które pozwala w kilka sekund stworzyć poprawny plik robots.txt — bez konieczności ręcznego pisania kodu. Wystarczy wybrać krawler, wpisać ścieżki i kliknąć „Generuj". Gotowy plik możesz skopiować lub pobrać od razu.
Do czego służy plik robots.txt?
Plik robots.txt to standardowy mechanizm informowania robotów wyszukiwarek (crawlerów), które obszary witryny mogą indeksować, a które powinny pomijać. Dzięki niemu możesz zablokować dostęp do panelu admina, stron logowania czy katalogów tymczasowych, a jednocześnie wyraźnie wskazać ścieżki dopuszczone do indeksacji. Możesz też podać adresy map witryny (Sitemap) oraz opóźnienie pobierania stron (Crawl-delay), co pomaga chronić serwer przed przeciążeniem.
Jak używać generatora?
Wybierz docelowy krawler (np. Googlebot, Bingbot lub wszystkie crawlery), wprowadź ścieżki Disallow (blokowane) oraz opcjonalnie ścieżki Allow (wyraźnie dopuszczone). Jeśli masz mapę witryny, podaj jej adres URL. Opcjonalnie ustaw Crawl-delay oraz podaj domenę Host. Po kliknięciu „Generuj robots.txt" otrzymasz gotowy plik, który możesz skopiować do schowka lub pobrać jako robots.txt i wgrać do głównego katalogu swojej domeny.
Jak generator zamienia wybory w poprawny plik robots.txt
Generator nie jest edytorem dowolnego tekstu — działa jak formularz, który zamienia Twoje decyzje na ciąg dyrektyw zgodnych ze składnią robots.txt. Plik składa się z bloków, a każdy blok otwiera linia User-agent z nazwą robota (na przykład Googlebot) albo gwiazdką oznaczającą wszystkie roboty. Dopiero po niej następują dyrektywy Disallow i Allow — i dotyczą wyłącznie tego jednego robota, wskazanego w nagłówku bloku.
Ścieżki w dyrektywach to wzorce, a nie pełne adresy. Zapis /admin/ blokuje wszystko, co zaczyna się od tego fragmentu, znak * zastępuje dowolny ciąg znaków, a $ przypina wzorzec do końca adresu. Gdy do jednego adresu pasuje kilka reguł, robot stosuje tę z najdłuższym dopasowaniem — dlatego dyrektywa Allow pozwala wyjąć pojedynczą podstronę z zablokowanego katalogu.
Narzędzie porządkuje także dyrektywy niezależne od konkretnego robota: Sitemap, Crawl-delay i Host. Zapisuje je poza blokami User-agent, bo odnoszą się do całej witryny, a nie do jednego krawlera. Wynikiem jest gotowy tekst, w którym nie trzeba już poprawiać składni ani pilnować kolejności wierszy.
Przykład krok po kroku: sklep z panelem i koszykiem
- W polu krawlera wybierasz opcję obejmującą wszystkie roboty, żeby jedna reguła zadziałała zarówno dla Googlebota, jak i Bingbota.
- W polu Disallow wpisujesz kolejno ścieżki, które mają być pomijane: /admin/, /koszyk/, /zamowienie/potwierdzenie oraz /wyszukiwanie.
- W polu Allow dodajesz wyjątek, na przykład /admin/public/, jeśli chcesz, aby jedna podstrona wewnątrz zablokowanego katalogu pozostała dostępna dla robotów.
- W polu Sitemap podajesz pełny adres mapy witryny, na przykład https://example.com/sitemap.xml — trafi do pliku jako osobna, globalna linia.
- Klikasz przycisk generowania i sprawdzasz podgląd: najpierw widzisz linię User-agent, pod nią dwie dyrektywy Disallow i jedną Allow, a na końcu wpis Sitemap.
- Kopiujesz wynik do schowka lub pobierasz plik jako robots.txt i wgrywasz go do głównego katalogu domeny, a następnie otwierasz adres https://example.com/robots.txt w przeglądarce, żeby potwierdzić, że plik jest widoczny.
Dyrektywy, które generator potrafi zapisać
| Dyrektywa | Znaczenie | Przykładowy zapis |
|---|---|---|
| User-agent | Otwiera blok i wskazuje robota, którego dotyczą kolejne reguły | Googlebot, Bingbot lub * |
| Disallow | Blokuje adresy pasujące do podanego wzorca | /admin/ |
| Allow | Wyraźnie dopuszcza adresy, także wewnątrz zablokowanego katalogu | /admin/public/ |
| Sitemap | Podaje pełny adres mapy witryny; obowiązuje dla całej domeny | https://example.com/sitemap.xml |
| Crawl-delay | Prosi o odstęp czasowy między kolejnymi żądaniami robota | wartość w sekundach |
| Host | Wskazuje preferowaną wersję domeny; dyrektywa używana głównie przez Yandexa | https://example.com |
| * oraz $ | Symbole wieloznaczne: dowolny ciąg znaków i koniec adresu | /pliki/*.pdf$ |
Praktyczne wskazówki przed wgraniem pliku
- Zacznij od blokad, nie od Allow — najpierw wypisz katalogi, które naprawdę mają być pomijane, a wyjątki dodawaj tylko wtedy, gdy są konieczne. Krótszy plik jest łatwiejszy do zweryfikowania.
- Nie blokuj zasobów potrzebnych do wyświetlenia strony — arkuszy stylów, skryptów i obrazów. Jeśli robot ich nie pobierze, nie zobaczy witryny takiej jak użytkownik.
- Trzymaj jedną grupę dla wszystkich robotów, a osobne bloki twórz tylko dla tych krawlerów, które faktycznie mają dostać inne reguły. Nadmiar bloków utrudnia późniejszą edycję.
- Sprawdź plik po wgraniu — otwórz jego adres w przeglądarce i użyj testera dostępnego w narzędziach dla webmasterów, żeby zobaczyć, jak robot interpretuje wybrane ścieżki.
- Aktualizuj wpis przy zmianach w strukturze — po przeniesieniu katalogów lub zmianie adresu mapy witryny stare reguły mogą przestać pasować do rzeczywistości.
Czego narzędzie nie uwzględnia
- Nie jest zabezpieczeniem — plik działa tylko na roboty, które go respektują. Dostęp do panelu czy katalogu z danymi trzeba dodatkowo chronić hasłem lub ograniczeniem po stronie serwera.
- Nie wszystkie roboty obsługują Crawl-delay — część wyszukiwarek tę dyrektywę ignoruje, więc nie można na niej opierać ochrony serwera przed obciążeniem.
- Nie usuwa adresów z wyników wyszukiwania — zablokowanie dostępu do strony nie powoduje jej zniknięcia z indeksu; do tego potrzebna jest osobna metoda.
- Nie zna faktycznej struktury serwera — narzędzie nie sprawdza, czy wpisana ścieżka istnieje, ani czy domena w dyrektywie Host odpowiada tej, na której wgrywasz plik. Literówka w adresie daje błędny efekt bez ostrzeżenia.
Najczęstsze pytania
Gdzie umieścić plik robots.txt?
Plik robots.txt musi znajdować się w głównym katalogu domeny, dostępnym pod adresem https://example.com/robots.txt. Krawlery Google i Bing automatycznie sprawdzają tę lokalizację przed rozpoczęciem indeksacji witryny.
Czy robots.txt blokuje dostęp do strony?
Nie — plik robots.txt to jedynie wskazówka dla robotów, które go respektują. Nie stanowi zabezpieczenia przed dostępem człowieka ani nierespektujących botów. Jeśli chcesz chronić zasoby, użyj autoryzacji HTTP lub reguł serwera (.htaccess).
Czym różni się Allow od Disallow?
Dyrektywa Disallow zabrania crawlerowi odwiedzania podanej ścieżki. Dyrektywa Allow jawnie zezwala na dostęp do ścieżki, nawet jeśli nadrzędna reguła Disallow ją blokuje. Najczęściej używa się Allow do udostępnienia podzbioru zablokowanego katalogu, np. zezwalając na /admin/public/ przy jednoczesnym blokowaniu /admin/.
Co to jest Crawl-delay?
Crawl-delay określa minimalny czas (w sekundach) pomiędzy kolejnymi żądaniami crawlera. Pomaga ograniczyć obciążenie serwera podczas intensywnego indeksowania. Google oficjalnie nie obsługuje tej dyrektywy (zarządzaj szybkością indeksowania w Google Search Console), natomiast Bingbot i inne crawlery ją respektują.
Czy robots.txt może składać się z kilku plików?
Nie. Dla jednego hosta obowiązuje jeden plik w głównym katalogu domeny. Pliki umieszczone w podkatalogach nie są brane pod uwagę przez wyszukiwarki.
Czy w robots.txt można używać wyrażeń regularnych?
Pełne wyrażenia regularne nie są obsługiwane. Dostępne są tylko dwa symbole wieloznaczne: gwiazdka oznaczająca dowolny ciąg znaków oraz znak dolara przypinający wzorzec do końca adresu.
Co się stanie, gdy zablokuję całą witrynę?
Dyrektywa blokująca wszystko wstrzymuje pobieranie treści, ale adresy mogą nadal pojawiać się w wynikach wyszukiwania na podstawie linków z innych stron, bez opisu i z treścią zastępczą.
Czy plik robots.txt działa dla poddomen i obu wersji protokołu?
Nie. Plik jest przypisany do konkretnego hosta i protokołu, więc wersja z https nie obejmuje adresów http ani subdomen. Dla każdej z nich potrzebny jest osobny plik.
Jak zablokować w robots.txt tylko jedną podstronę?
Wpisz jej dokładną ścieżkę, na przykład /strona-prywatna/, pamiętając, że reguła obejmie także wszystko, co zaczyna się od tego fragmentu. Jeśli chcesz ograniczyć blokadę do jednego adresu, zakończ wzorzec znakiem dolara.