Failas visada gyvena tuo pačiu adresu: jususvetaine.lt/robots.txt. Prieš naršydamas svetainę Google robotas pirmiausia perskaito jį ir laikosi ten surašytų taisyklių. Tipinis panaudojimas: uždaryti administravimo sritis, krepšelio ir paieškos puslapius, techninius katalogus.
Ko robots.txt nedaro
Dažna klaida yra manyti, kad robots.txt išima puslapį iš Google. Taip nėra: failas draudžia naršyti, bet ne indeksuoti. Jei į užblokuotą puslapį veda nuorodos iš kitur, jis gali likti rezultatuose be aprašymo. Norint puslapį tikrai išimti iš indekso, naudojama noindex žyma, o robots.txt jo blokuoti tada kaip tik negalima, nes robotas turi puslapį perskaityti, kad pamatytų žymą.
Pavojingiausia klaida
Viena eilutė „Disallow: /” uždaro visą svetainę nuo visų robotų. Ši eilutė dažnai paliekama po svetainės kūrimo etapo, kai programuotojai sąmoningai slėpė nebaigtą versiją, ir pamirštama išjungti paleidus svetainę gyvai. Rezultatas: svetainė metų metus nesirodo Google, o priežastis yra viena teksto eilutė. Po kiekvieno svetainės atnaujinimo verta patikrinti šį failą, tai užtrunka minutę. Failo būklę tikrina ir nemokamas mini SEO auditas, o gilesnė peržiūra yra techninio SEO dalis.