Crawl error (chyba prehliadania)
Crawl error je chyba, ktorá nastane keď sa vyhľadávací nástroj pokúša osloviť konkrétnu stránku na vašom webe, ale zlyhá. Ako prvé by sme si mali posvietiť na crawling (prehľadávanie). Je to proces, pri ktorom sa vyhľadávač pokúša navštíviť každú jedinečnú stránku na vašom webe prostredníctvom botov. V prípade ak nájde odkaz na jednu z vašich stránok, začne prehliadať všetky ďalšie verejné stránky. Ďalej prehliada a indexuje všetok obsah pre použitie v službe Google a navyše pridá všetky odkazy na týchto stránkach na hromadu, kde sa nachádzajú všetky stránky, ktoré musí takto prehľadávať. Ak ste majiteľ webových stránok vašim cieľom by malo byť zabezpečiť, aby sa bot dostal ku všetkým stránkam na vašom webe. Ak sa tento proces nepodarí, prinesie nám to crawl error resp. chybu indexovaného prehľadávania.
Vaším cieľom je uistiť sa, že každý odkaz na vašich webových stránkach vedie k aktuálnej stránke. Môže to byť cez presmerovanie 301, ale stránka na konci tohto odkazu by mala vždy vrátiť odpoveď 200 OK servera.
Spoločnosť Google rozdelí chyby indexového prehľadávania do dvoch skupín:
- Chyby lokality. Tieto nechcete, pretože znamenajú, že celú vašu stránku nie je možné indexovo prehľadávať.
- Chyby adresy URL. Nechcete ani tieto, ale pretože sa týkajú iba jednej konkrétnej adresy URL na jednu chybu, je ľahšie ich udržiavať a opravovať.
Pozrime sa na tieto typy konkrétnejšie.
Chyby lokality
Chyby lokality sú všetky chyby indexového prehľadávania, ktoré zabraňujú tomu, aby bot získal prístup na vašu webovú stránku. To môže mať mnoho dôvodov, najčastejšie sú:
- Chyby DNS. Táto chyba znamená, že vyhľadávací nástroj nie je schopný komunikovať so serverom. Možno to znamená, že vaše webové stránky nemôžu byť navštívené. Toto je zvyčajne dočasný problém. Spoločnosť Google sa vráti späť na vašu webovú stránku a prehliadne ju neskôr. Ak sa na vašich stránkach vo Vyhľadávacej konzole Google objavia upozornenia na chyby indexového prehľadávania, pravdepodobne to znamená, že spoločnosť Google to niekoľkokrát vyskúšala a stále nebola schopná prehľadávanie úspešne vykonať.
- Chyby servera. Ak vaša Vyhľadávacia konzola Google zobrazuje chyby servera, znamená to, že bot nemohol pristupovať k vašim webovým stránkam. Požiadavka mohla vypršať. Vyhľadávací nástroj sa pokúsil navštíviť vašu lokalitu, ale trvá to tak dlho, kým sa načíta, že server odpovie chybovým hlásením. Serverové chyby sa vyskytujú aj vtedy, keď vo vašom kóde dochádza k chybám, ktoré bránia načítaniu stránky. Môže to tiež znamenať, že vaša stránka má toľko návštevníkov, že server jednoducho nedokázal spracovať všetky žiadosti.
- Zlyhanie robotov. Pred prehliadaním sa Googlebot pokúsi prechádzať aj váš súbor robots.txt, len aby zistil, či na vašej webovej lokalite neexistujú nejaké oblasti, ktoré by ste radšej neindexovali. Ak daný bot nedosiahne súbor robots.txt, spoločnosť Google odloží prehliadanie, kým sa nedokáže dostať do súboru robots.txt. Takže sa vždy uistite, že je k dispozícii.
To by sme mali základné chyby indexového prehľadávania, ktoré sa týka celého vášho webu. Teraz sa pozrime na chyby, ktoré sa môžu vyskytnúť pri konkrétnych stránkach.
Chyby adresy URL
Ako sme uviedli, chyby adresy URL sa vzťahujú na chyby indexového prehľadávania, ku ktorým dochádza vtedy, keď sa bot pre vyhľadávače pokúša prehľadávať konkrétnu stránku na vašom webe. Keď diskutujeme o chybách v adresách URL, najčastejšie diskutujeme o chybách prehľadávania, ako sú (soft) 404 chyby. Často by ste mali kontrolovať tento typ chýb (pomocou nástroja Google Search Console alebo nástrojov správcu webu Bing) a opraviť ich. Ak máte podobný obsah na inej stránke, použite namiesto toho presmerovanie 301. Rovnako sa uistite, že sú vaše stránky a interné odkazy aktuálne.
Zistili sme, že mnohé z týchto chýb adresy URL sú spôsobené internými odkazmi. Takže veľa z týchto chýb je vašou vinou. Ak v určitom okamihu odstránite stránku z vášho webu, upravte alebo odstráňte aj všetky prichádzajúce odkazy. Tieto odkazy sa už nepoužívajú. Ak tento odkaz zostane rovnaký, bot ho nájde, bude ho sledovať a nájde iba mŕtve miesto (chyba 404).
Špecifické chyby adresy URL
Existujú určité chyby adresy URL, ktoré sa vzťahujú len na určité stránky. Preto by sme ich vymenovali samostatne:
- Chyby adresy URL špecifické pre mobilné zariadenia. Ide o chyby indexového prehľadávania špecifické pre stránky, ktoré sa vyskytujú na modernom smartfóne. Ak máte responzívnu stránku, je nepravdepodobné, že by ste na tieto chyby narazili. Jediná možnosť je obsah vyžadujúci Flash, ktorý ste už chceli nahradiť. Ak udržujete samostatnú subdoménu pre mobilné zariadenia, napríklad m.príklad.sk, môžete naraziť aj na ďalšie chyby. To súvisí s chybnými presmerovaniami z vášho webu pre počítače na danú mobilnú lokalitu. Môžete dokonca zablokovať niektoré z mobilných stránok jediným riadkom vo vašom súbore robots.txt.
- Chyby škodlivého softvéru. Ak narazíte na chyby škodlivého softvéru v nástrojoch správcu webu, znamená to, že spoločnosť Bing alebo spoločnosť Google našli škodlivý softvér na tejto adrese URL. To môže znamenať, že sa našiel softvér, ktorý sa používa napríklad na zhromažďovanie strážených informácií alebo na narušenie ich prevádzky všeobecne. Musíte vyšetriť túto stránku a odstrániť škodlivý softvér.
- Chyby služby Google News. Existuje veľa špecifických chýb pre Google News. V Google dokumentácií nájdete dostatočný zoznam, ktorý vám môže pomôcť pri ich riešení. Sú veľmi rozličné od chyby v názve až po chyby, ktoré hovoria, že na stránke sa nenachádza článok. Skontrolujte sami, či sa to týka aj vašej stránky.
Opravte chyby indexového prehľadávania
Posledné riadky v tomto článku by mali určite byť: ak sa stretnete s chybami indexového prehľadávania, opravte ich. Mali by sa stať súčasťou plánu údržby vášho webu, aby ste opakovane kontrolovali chyby prehľadávania. Nezabudnite skontrolovať tieto funkcie sami!