Budżet indeksowania
Pojęcie to używane jest w odniesieniu do indeksowania stron internetowych przez przeglądarki. Określa liczbę stron dopuszczonych do indeksowania i pobranych przez roboty przemierzające przestrzenie Internetu.
Za mało czasu
W przypadku potężnych serwisów internetowych programy indeksujące najzwyczajniej nie mieszczą się w przewidzianym na wizytę czasie i nie wchodzą na wszystkie podstrony.
Serwis musi mieć prawidłowo wykreowaną strukturę linków wewnętrznych ażeby ułatwić robotom indeksację. Nie powinno być żadnej strony w obrębie witryny która nie byłaby połączona z innymi stronami.
Ogólny stan sprzyjający szybkiej indeksacji nazywany jest crawl health, czyli zdrowie. Typowymi cechami stanu zdrowia jest np. szybkość ładowania się plików całej strony internetowej do stanu najniższej z możliwych pełnej funkcjonalności dla użytkownika. A czas, w jakim odpowiada serwer strony, daje robotom więcej czasu na pobranie większej ilości danych o poszczególnych podstronach.
Kombinacja dwóch parametrów
Budżet indeksacji zawiera dwa składniki.
Crawl rate limit
Crawl budget to kompromis i permanentna praca, którą realizują crawlery. Praca nigdy się nie kończy. Przeglądarka, jeśli chce być na bieżąco, musi dzielić czas dostępności i zajętości serwera na wszystkie odwiedzane strony. Dlatego limitując czas odwiedzin, optymalizuje wyniki pracy robotów.
Crawl demand – wyznacza jak często aplikacje indeksujące, łączą się z serwerem serwisu.
Dopiero równowaga obudwu zjawisk przesądza o całym obrazie. Chcąc zapewnić równowagę obu zdarzeń i podtrzymać ich względnie znaczną wartość trzeba dbać o atrakcyjność strony, czyli jej subiektywny zasób merytoryczny i regularnie monitorować warunki techniczne, które mogą ulec zmianie podczas np. przebudowy kodu źródłowego witryny.
Ogólny stan sprzyjający szybkiej indeksacji nazywany jest crawl health, czyli zdrowie. Charakterystycznymi cechami stanu zdrowia jest np. szybkość ładowania się plików serwisu do stanu najniższej z możliwych pełnej funkcjonalności dla internauty. A czas, w jakim odpowiada serwer witryny, daje robotom więcej czasu na pobranie większej ilości danych o poszczególnych podstronach.
