Tag meta robots jest istotnym elementem strony internetowej, służącym do komunikacji z robotami wyszukiwarek internetowych. Definiuje on instrukcje dla crawlerów (robotów), które skanują strony internetowe w celu indeksowania i rankingowania. Te instrukcje mogą zawierać informacje, które mówią crawlerom, jak mają postępować z daną stroną – czy mają ją zaindeksować, czy nie, czy mają śledzić linki na stronie, czy też nie.
Tag meta robots jest umieszczany w sekcji <head> strony HTML i ma generalną formę: <meta name="robots" content="...">. Wartość atrybutu content w tagu meta robots mówi botom wyszukiwarek, co mają robić. Najpopularniejsze dyrektywy to „index”, „noindex”, „follow”, „nofollow”, „noarchive”, „nosnippet”, „noimageindex” i „none”.
1. Zastosowanie Meta Robots
- index: Instrukcja dla robotów, aby zaindeksowały daną stronę, co oznacza, że strona ta może pojawić się w wynikach wyszukiwania. Jest to domyślne zachowanie robotów, jeżeli nie ma żadnych innych dyrektyw.
- noindex: Mówi robotom, aby nie indeksowały strony. Strona z dyrektywą „noindex” nie pojawi się w wynikach wyszukiwania.
- follow: Nawet jeśli strona jest ustawiona na „noindex”, dyrektywa „follow” mówi robotom, aby śledziły linki na tej stronie i indeksowały strony, do których prowadzą te linki.
- nofollow: Instrukcja dla robotów, aby nie śledziły linków na stronie. Strony, do których prowadzą te linki, nie będą indeksowane przez robota, który obserwuje dyrektywę „nofollow”.
- noarchive: Ta dyrektywa mówi robotom, aby nie zapisywały kopii strony w pamięci podręcznej wyszukiwarki.
- nosnippet: Ta dyrektywa mówi robotom, aby nie pokazywały fragmentów ani miniatur strony w wynikach wyszukiwania.
- noimageindex: Ta dyrektywa mówi robotom, aby nie indeksowały obrazków na stronie.
- none: Jest to skrót dla dyrektyw „noindex” i „nofollow”.
2. Dlaczego Meta Robots jest ważne?
Tag meta robots jest ważny, ponieważ pozwala właścicielom stron na kontrolowanie sposobu, w jaki ich strony są indeksowane i interpretowane przez wyszukiwarki. To może mieć wpływ na SEO strony, a więc i na to, jak łatwo użytkownicy mogą ją znaleźć przez wyszukiwarki. Dobrze skonfigurowane dyrektywy meta robots mogą pomóc w poprawie widoczności strony w wynikach wyszukiwania.