Crawlability to umiejętność robotów wyszukiwarki polegająca na przeglądaniu i indeksowaniu stron internetowych.
Crawlability – co to jest i na czym polega?
Crawlability jest to zdolność robotów wyszukiwarki Google do przeglądania stron internetowych i ich indeksowania. Przeglądając witryny, roboty podążają za umieszczonymi w nich linkami. Dokładniej mówiąc, przechodzą one od linku do linku, jednocześnie przenosząc informacje o tych stronach internetowych z powrotem na serwery Google. Dlatego pozycjonując witrynę, warto dbać o to, żeby roboty wyszukiwarki mogły łatwo pobierać z niej treści. Pomóc może w tym narzędzie Google Search Console, które poinformuje o tym, czy strona poprawnie się pobiera.
Crawling – co to jest?
Crawling jest procesem, którego celem jest analiza wszystkich dostępnych treści i całości kodu związanego z określoną witryną. Dzięki czemu można zobaczyć między innymi, jakie linkowanie pochodzi z badanej strony internetowej. Realizowany on jest przez roboty nazywane crawlerami czy też pająkami – ze względu na sposób, w jaki działają (podążają za linkami, tworząc pajęczynę połączeń pomiędzy wszystkimi zasobami). Crawl strony internetowej polega więc na przeszukaniu zasobów serwisu i określeniu jego zawartości.
Crawl budżet – co to jest?
Warto wspomnieć tutaj również o budżecie crawlowania. Jest to liczba stron witryny, jaka może być crawlowana przez roboty wyszukiwarki w danym dniu. Jeśli zostanie ona przekroczona, to może zdarzyć się tak, że niektóre podstrony nie zostaną dodane do indeksu. To ograniczenie zostało wprowadzone przez Google ze względu na to, że intensywny crawl zasobów mógłby doprowadzić do przeciążenia serwera i mogłyby pojawić się problemy z prędkością i ze stabilnością danej witryny (crawl rate limit). Ponadto Google nie posiada aż takich zasobów, żeby crawlować wszystkie dostępne w internecie strony w jednym czasie.
Co się dzieje ze stroną internetową, na której nie został przeprowadzony crawling?
Jeśli jakaś strona internetowa nie będzie miała przeprowadzonego crawlingu, to nie zostanie ona dodana do indeksu – co jest równoznaczne z tym że nie będzie się ona wyświetlała w wynikach wyszukiwania.
Na czym polega działanie wyszukiwarki Google?
Wyróżnia się trzy podstawowe funkcje wyszukiwarki Google:
- crawlowanie (przeszukiwanie i przeglądanie zasobów internetu pod kątem zawartości);
- indeksowanie (przechowywanie i organizacja adresów URL, które zostały odnalezione w trakcie crawlowania);
- tworzenie rankingu (ustalanie kolejności wyświetleń wyszukanych adresów w wyszukiwarce Google według określonych czynników rankingowych).
Crawlability odgrywa dużą rolę w widoczności danej strony internetowej w wyszukiwarce Google.
