Paweł Oleś
Robots.txt i sitemap.xml to dwa pliki techniczne, które rzadko widzisz na co dzień, ale mają realny wpływ na to, czy Google w ogóle znajdzie i zaindeksuje Twoją stronę.
Czym jest robots.txt
Robots.txt to plik tekstowy w głównym katalogu Twojej strony, który mówi robotom wyszukiwarek, które podstrony mogą skanować, a które powinny pominąć. To ważne: robots.txt to tylko sugestia, nie zabezpieczenie — nie ukrywa strony przed użytkownikami ani nie chroni jej przed złośliwym oprogramowaniem.
Czym jest sitemap.xml i jak łączy się z robots.txt
Sitemap.xml to plik zawierający listę wszystkich ważnych podstron Twojej witryny, ułatwiający Google ich odnalezienie i zaindeksowanie. Plik robots.txt zwykle zawiera odnośnik do lokalizacji sitemap.xml, żeby roboty od razu wiedziały, gdzie go szukać.
Jak sprawdzić, czy Twoja strona ma je poprawnie skonfigurowane
- Wejdź na adres twojadomena.pl/robots.txt — plik powinien się otworzyć jako zwykły tekst
- Sprawdź raport robots.txt w Google Search Console — pokazuje, czy Google poprawnie odczytuje plik
- Sprawdź raport Sitemaps w Google Search Console — pokazuje, czy mapa strony została zgłoszona i przetworzona
Najczęstsze błędy
- przypadkowe zablokowanie całej strony w robots.txt (typowe podczas przenoszenia strony z wersji testowej)
- brak odnośnika do sitemap.xml w pliku robots.txt
- nieaktualna mapa strony, która nie zawiera nowych podstron
Często zadawane pytania o robots.txt i sitemap.xml
Czy robots.txt ukrywa stronę przed Google?
Nie do końca — zablokowana w robots.txt strona może wciąż pojawić się w wynikach wyszukiwania jako sam adres URL bez opisu. Do pełnego ukrycia potrzebny jest tag noindex w kodzie strony.
Czy każda strona potrzebuje mapy XML?
Małe strony z kilkoma podstronami mogą działać bez sitemap.xml, ale większe serwisy zdecydowanie na niej korzystają — ułatwia Google odnalezienie wszystkich ważnych adresów.
Sprawdzimy to za Ciebie
Jeśli nie masz pewności, czy te pliki są poprawnie skonfigurowane, sprawdzenie ich to jeden z pierwszych kroków w każdym audycie technicznym, który robię.
