Data publikacji: Ostatnia aktualizacja:
Crawl rate limit to ograniczenie tempa, w jakim robot wyszukiwarki odwiedza twoją stronę — żeby jej nie przeciążyć.
Google samo dobiera to tempo. Patrzy, jak szybko serwer odpowiada: jeśli strony wczytują się sprawnie, robot przyspiesza; jeśli serwer zaczyna zwracać błędy albo zwalniać, robot wyraźnie się wycofuje. To zabezpieczenie dla ciebie, nie kara.
Przykład. Sklep z częściami do maszyn rolniczych miał kilkadziesiąt tysięcy adresów produktowych na tanim, współdzielonym hostingu. Nowe produkty pojawiały się w Google po kilku tygodniach, a część nie pojawiała się wcale. W logach serwera widać było, że robot Google regularnie dostawał błędy przy większym natężeniu — i po każdym takim dniu zwalniał. Przeniesienie sklepu na mocniejszy serwer zmieniło to bez żadnej pracy nad treścią: robot zaczął odwiedzać więcej adresów dziennie, a nowe produkty wchodziły do wyników w ciągu kilku dni.
Kiedy to twój problem. Praktycznie tylko przy dużych serwisach — sklepach z tysiącami produktów, portalach, katalogach ogłoszeń. Strona firmowa z dwudziestoma podstronami nigdy nie dotknie tego limitu.
Na co uważać. Nie próbuj „zwiększać” tempa indeksowania — nie ma takiego przycisku, a jedyne, co faktycznie działa, to usunięcie przyczyn hamowania. Trzy najczęstsze, w kolejności: wolne odpowiedzi serwera, dużo adresów zwracających błędy i tysiące bezwartościowych adresów, które robot musi przejść — warianty z parametrami, nieskończona paginacja, wyniki wyszukiwania wewnętrznego. Ta trzecia przyczyna jest najczęściej pomijana: robot ma ograniczoną liczbę wejść i jeśli zużywa je na śmieci, nie dojdzie do twoich produktów. Porządek w tym, co udostępniasz do indeksowania, działa lepiej niż jakiekolwiek ustawienie.
Powiązane hasła
Usługi Content Hero
← Wróć do słownika marketingowego
Data publikacji:
Data aktualizacji:
