Dauguma SEO specialistų Lietuvoje savo kasdienybėje pasikliauja tokiais įrankiais kaip Google Search Console arba trečiųjų šalių skenavimo programomis. Nors šie įrankiai suteikia vertingos informacijos, jie rodo tik dalį paveikslo arba pateikia interpretuotus duomenis su tam tikru vėlavimu. Tikroji tiesa apie tai, kaip paieškos varikliai sąveikauja su jūsų svetaine, slepiasi serverio log failuose. Tai yra neginčijami įrašai apie kiekvieną užklausą, kurią gavo jūsų serveris. Log analizė leidžia pamatyti realų Googlebot elgesį, nustatyti technines kliūtis ir suprasti, kodėl tam tikri puslapiai nėra indeksuojami arba kodėl jų pozicijos krenta. Kai svetainė auga iki tūkstančių ar šimtų tūkstančių puslapių, techninis SEO be logų analizės tampa panašus į vairavimą užrištomis akimis. Šiame straipsnyje apžvelgsime, kaip praktiškai atlikti šią analizę naudojantis populiariausiais Lietuvos hostingais ir profesionaliais įrankiais.
Kaip pasiekti log failus populiariausiuose Lietuvos hostinguose
Pirmasis žingsnis atliekant log analizę yra duomenų gavimas. Lietuvoje populiariausi hostingo tiekėjai, tokie kaip Hostinger, Interneto vizija (IV.lt) arba Baltneta, suteikia prieigą prie šių duomenų, tačiau kelias iki jų gali skirtis. Log failai dažniausiai saugomi standartiniu Apache arba Nginx formatu ir yra pasiekiami per FTP arba tiesiogiai per hostingo valdymo skydą.
Pavyzdžiui, naudojantis Hostinger paslaugomis, prisijunkite prie savo hPanel valdymo skydo ir eikite į skiltį Failai, tada pasirinkite Prieigos logai. Čia galite matyti realaus laiko srautą arba atsisiųsti archyvuotus failus. Jei naudojatės Interneto vizija paslaugomis, log failus dažniausiai rasite prisijungę per FTP programą (pavyzdžiui, FileZilla) ir nukeliavę į katalogą pavadinimu logs. Šiame kataloge rasite failus su galūnėmis .log arba .gz (archyvuoti failai). Svarbu žinoti, kad dauguma hostingo tiekėjų saugo logus tik ribotą laiką, pavyzdžiui, 30 dienų, todėl didesniems projektams rekomenduojama juos reguliariai archyvuoti savo kompiuteryje ar debesijoje.
Svarbu atskirti prieigos logus (access logs) nuo klaidų logų (error logs). Nors klaidų logai padeda programuotojams taisyti kritines klaidas, SEO specialistui aktualiausi yra būtent prieigos logai, nes juose fiksuojama kiekviena Googlebot užklausa, jos laikas, IP adresas ir serverio atsakymo kodas. Gavę šiuos failus, galite matyti, kaip dažnai Google lankosi jūsų svetainėje ir kokius resursus jis skaito pirmiausia.
Ką iš tikrųjų analizuoja Googlebot: crawl budget ir techninis SEO
Kai turite log failus, pagrindinis tikslas yra suprasti, kaip efektyviai naudojamas jūsų crawl budget. Tai yra ribotas laikas ir resursai, kuriuos Google skiria jūsų svetainės skenavimui. Jei Googlebot švaisto laiką mažos vertės puslapiams, jūsų svarbiausias turinys gali likti nepastebėtas arba rečiau atnaujinamas paieškos rezultatuose. Log analizė padeda identifikuoti šias spragas.
Statuso kodų reikšmė ir resursų švaistymas
Vienas pirmųjų dalykų, kuriuos reikia patikrinti, yra serverio atsakymo kodų pasiskirstymas Googlebot užklausoms. Idealiu atveju didžioji dalis užklausų turėtų grąžinti 200 OK statusą. Tačiau praktikoje dažnai matome kitokį vaizdą. Pavyzdžiui, jei matote didelį kiekį 301 nukreipimų, tai reiškia, kad Googlebot turi atlikti papildomus žingsnius, kad pasiektų galutinį turinį. Tai tiesiogiai eina į crawl budget sąskaitą. Dar blogiau yra 404 klaidos. Jei loguose matote, kad Googlebot nuolat bando pasiekti neegzistuojančius puslapius, turite skubiai ištaisyti vidines nuorodas arba atlikti tinkamus nukreipimus.
Kitas svarbus aspektas yra puslapio svoris ir krovimosi greitis. Loguose galite pamatyti, kiek baitų Googlebot atsisiunčia per kiekvieną sesiją. Jei matote, kad robotas praleidžia daug laiko siųsdamasis didelius PDF failus arba neoptimizuotus vaizdus, tai yra signalas, kad techninis SEO reikalauja optimizacijos. Galite pastebėti, kad robotas dažnai skenuoja puslapius su URL parametrais (pavyzdžiui, filtravimo rezultatus), kurie neturi jokios SEO vertės. Tokiu atveju log analizė tampa pagrindu koreguoti robots.txt failą.
Netikrų botų identifikavimas
Ne viskas, kas prisistato kaip Googlebot, iš tikrųjų yra Google. Egzistuoja daugybė kenkėjiškų botų ar konkurentų naudojamų įrankių, kurie klastoja savo User-Agent informaciją, kad išvengtų blokavimo. Jie gali apkrauti jūsų serverį ir iškreipti statistiką. Log analizė leidžia patikrinti IP adresus. Tikrasis Googlebot visada ateis iš specifinių IP rėžių, kuriuos galima patikrinti atliekant DNS paiešką (reverse DNS lookup). Jei matote užklausą iš įtartino IP adreso, kuris prisistato kaip Googlebot, bet priklauso kokiam nors neaiškiam duomenų centrui, tokį botą galite drąsiai blokuoti serverio lygmeniu.
Praktinis log analizės procesas su Screaming Frog Log Analyser
Rankiniu būdu peržiūrėti tūkstančius eilučių tekstiniame faile yra neįmanoma misija, todėl SEO specialistai naudoja specializuotą programinę įrangą. Vienas populiariausių įrankių yra Screaming Frog Log Analyser. Štai paprastas darbo eigos pavyzdys, kaip galite atlikti analizę savo svetainei.
- Duomenų įkėlimas: Atsisiųskite log failus iš savo hostingo ir tiesiog įtempkite juos į Screaming Frog Log Analyser langą. Programa automatiškai atpažins formatą ir sugrupuos duomenis.
- Botų filtravimas: Pasirinkite filtrą, kad matytumėte tik Googlebot (Mobile ir Desktop) užklausas. Tai leis susikoncentruoti tik į paieškos variklio elgseną, atmetant tikrus vartotojus ir kitus botus.
- Skenavimo dažnumo analizė: Peržiūrėkite skiltį Crawl Frequency. Čia pamatysite, kurie puslapiai skenuojami kasdien, o kurie tik kartą per mėnesį. Jei jūsų svarbiausi paslaugų puslapiai skenuojami retai, o archyvų puslapiai dažnai, turite problemą su vidiniu nuorodų tinklu.
- URL parametrų patikra: Pažiūrėkite, ar Googlebot nesilanko puslapiuose su sesijų ID arba pertekliniais filtrais. Pavyzdžiui, jei matote tūkstančius užklausų į URL su parametru ?sort=price, tai aiškus ženklas, kad švaistomas crawl budget.
- Botų verifikavimas: Naudokite įrankio funkciją Verify Bots. Programa automatiškai patikrins, ar užklausos tikrai atėjo iš Google serverių. Tai padės išvalyti duomenis nuo triukšmo.
Jei neturite specializuotos programos, panašią analizę galite atlikti ir su Microsoft Excel. Importuokite log failą kaip tekstinį duomenų rinkinį, naudokite kablelį arba tarpą kaip skirtuką ir sukurkite Pivot Table (Sukinį lentelę). Sugrupuokite duomenis pagal URL ir suskaičiuokite užklausų kiekį bei atsakymo kodus. Nors tai reikalauja daugiau rankinio darbo, principas išlieka tas pats: identifikuoti anomalijas ir optimizuoti Googlebot kelią jūsų svetainėje.
Svarbu suprasti, kad log analizė nėra vienkartinis veiksmas. Tai turėtų būti periodinė techninio SEO audito dalis, ypač po didelių svetainės atnaujinimų, migracijų ar pastebėjus staigų organinio srauto kritimą. Tik matydami realų Googlebot pėdsaką, galite priimti duomenimis pagrįstus sprendimus, kurie duos ilgalaikį rezultatą.
Apibendrinant galima teigti, kad log failai yra vienintelis šaltinis, suteikiantis 100 procentų tikslumo informaciją apie paieškos robotų elgseną. Jie padeda rasti technines klaidas, kurias kiti įrankiai gali praleisti, ir leidžia efektyviai valdyti svetainės resursus. Jei norite pakelti savo techninį SEO į aukštesnį lygį, pradėkite nuo mažų žingsnių: atsisiųskite paskutinio mėnesio logus iš savo hostingo ir peržiūrėkite, kiek klaidų pranešimų gauna Googlebot.
Praktiniai žingsniai skaitytojui:
- Prisijunkite prie savo hostingo FTP serverio, raskite logs aplanką ir atsisiųskite naujausią access_log failą patikrinimui.
- Įkelkite šį failą į Screaming Frog Log Analyser arba Excel ir suskaičiuokite, kokią dalį visų užklausų sudaro 404 ir 301 atsakymai: jei jų daugiau nei 5-10 procentų, jūsų svetainei reikia skubios techninės optimizacijos.
