Plik robots.txt, formalnie nazywany The Robots Exclusion Protocol, jest kluczowym elementem zarządzania dostępem do strony internetowej. To prosty plik tekstowy umieszczony w głównym katalogu strony, który zawiera instrukcje dla robotów internetowych (znanych także jako boty, crawlerzy lub spiderzy) odwiedzających stronę.

1. Funkcja pliku robots.txt

Głównym celem pliku robots.txt jest informowanie botów wyszukiwarek, które części strony internetowej powinny być indeksowane, a które powinny zostać pominięte. Może to obejmować strony, katalogi lub nawet całe domeny, które administrator strony preferuje ukryć przed wyszukiwarkami. Plik ten jest pierwszym miejscem, do którego boty się udają po wejściu na stronę, aby zrozumieć, jakie instrukcje zostały dla nich przygotowane.

2. Składnia pliku robots.txt

Plik robots.txt jest napisany w bardzo prosty sposób. Każda linia zawiera jedno polecenie składające się z dwóch części: „User-agent” i „Disallow”. „User-agent” identyfikuje bota, do którego skierowane jest polecenie, a „Disallow” wskazuje, które URL-e bot powinien pominąć. Można podać konkretny adres URL lub użyć symbolu „*” jako znaku wieloznacznego, aby wykluczyć wiele stron naraz.

3. Ważne uwagi dotyczące pliku robots.txt

Mimo, że plik robots.txt jest potężnym narzędziem, istotne jest zrozumienie jego ograniczeń. Przede wszystkim, plik robots.txt jest po prostu zbiorem zaleceń, a nie ścisłych poleceń. Nie wszystkie boty internetowe respektują te zalecenia. Większość renomowanych wyszukiwarek, takich jak Google, Bing czy Yahoo, przestrzega tych instrukcji, ale mniej odpowiedzialne boty, w tym niektóre boty spamujące, mogą je zignorować.

Ponadto, choć plik robots.txt może uniemożliwić botom indeksowanie określonych stron, nie zapobiega to linkowaniu do nich z innych miejsc. Jeśli inne strony linkują do strony zablokowanej w pliku robots.txt, ta strona nadal może pojawiać się w wynikach wyszukiwania.

Wreszcie, plik robots.txt jest publicznie dostępny. Każdy, kto zna jego lokalizację, może go przeczytać. Z tego powodu nie powinno się za jego pomocą próbować ukryć wrażliwych informacji. Zamiast tego, zaleca się stosowanie innych metod zabezpieczania takich informacji, np. przez stosowanie uwierzytelniania lub szyfrowania.

Bartosz Paczyński

• Konsultant i Trener marketingu i sprzedaży.
• Właściciel Agencji Social Media Content Hero i portalu Przedsiębiorcy
• Wykładowca akademicki (Akademia Leona Koźmińskiego),
• Certyfikowany Partner Google,
• Posiadacz certyfikatu DIMAQ Professional,
• Certyfikowany Trener DIMAQ z ramienia IAB Polska,
• Od 2008 roku w branży marketingowej.