Walidator Robots.txt
Wklej URL lub tresc pliku robots.txt. Sprawdz bledy skladni, testuj sciezki i analizuj dyrektywy. Bezpłatnie. Profesjonalne narzędzie online, które działa w Twojej przeglądarce. Szybko, bezpiecznie i bez instalowania zbędnego oprogramowania.
-
1Wprowadź dane
Wpisz treść, wklej tekst lub załaduj plik z dysku. -
2Kliknij przycisk
Narzędzie natychmiast przetworzy Twoje dane w przeglądarce. -
3Pobierz wynik
Skopiuj gotowy tekst lub zapisz plik na urządzeniu.
return "Wynik gotowy w 0.1s";
}
Walidator robots.txt online
Plik robots.txt (standard Robots Exclusion Protocol) mowi robotom indeksujacym, jakich czesci witryny nie moga crawlowac. Narzedzie sprawdza skladnie, parsuje dyrektywy i testuje konkretne URL-e.
Dyrektywy robots.txt
User-agent: kto – * (wszyscy), Googlebot, Bingbot. Disallow: zablokuj sciezke. Allow: zezwol (nadpisuje Disallow). Crawl-delay: opoznienie (sek). Sitemap: lokalizacja sitemapy. Noindex: (Google ignoruje – uzywaj meta robots).
Najczestsze bledy
Blokada /wp-admin/ bez Allow dla zalogowanych. Blokada pliku sitemap.xml. Nadmierne blokowanie przez /. Literowki w sciezkach (wielkosc liter – robots.txt case-sensitive). Brak pliku robots.txt (zakaz crawlowania 404 = Google ignoruje).
Najczęstsze pytania
Czy Google przestrzega robots.txt?
Googlebot zazwyczaj tak, ale nie gwarantuje – zaindeksuje URL bez crawlowania jesli jest linkowany. Do trwałego usuniecia z indeksu: noindex w head lub Google Search Console Remove URL.
Jak sprawdzic aktualne robots.txt domeny?
https://domena.pl/robots.txt – standardowa sciezka. Musi byc na domenie glownej (nie subdomenie, nie podkatalogu). Limit wielkosci pliku: Google przetwarza max 500 KiB.
Co wpisac w robots.txt dla nowej strony?
User-agent: * / Disallow: /wp-admin/ / Disallow: /wp-login.php / Sitemap: https://domena.pl/sitemap.xml. Reszta (wlacznie z / ) powinna byc dostepna do crawlowania.
Inne narzedzia SEO: walidator sitemapy XML i sprawdzenie metatakow.