Sakrivanje određenih dijelova sjedišta web stranice od tražilica

Ograničavanje pristupa tražilice bilo kojem dijelu vašeg sjedišta vjerojatno se čini nelogično. Međutim, treba malo razmisliti o tome jer možda želimo kontrolirati kako ce točno posjetitelji pronaći naše sjedište. Primjerice, bolje da novi posjetitelji dođu na početnu stranicu, a ne na neku duboku tri razine. Nije poželjno da posjetitelji dođu na stranicu koja treba biti pop-up prozor s navigacijskom opcijom. Što više razmišljamo o tome, to je ograničavanje pristupa tražilicama određenim dijelovima sjedišta logičnije.

Na relativno lak i pouzdan način možemo reći paucima kakav način indeksiranja želimo. Trebamo samo spremiti posebnu tekstualnu datoteku robots.txt u najvišu razinu udaljenog sjedišta, odnosno u udaljeni root. Datoteka robots.txt govori tražilicama u posjeti da ignoriraju određene mape ili datoteke.

Međutim, postoji zamka. Da bi funkcioniralo, roboti moraju slijediti Robots Exclusion Standard – malo poznati dodatak Asimovljevim trima zakonima robotike. Prema tom standardu robot mora slušati naredbe navedenoj datoteci robot.txt. Međutim, standard nije zakon.

Programeri koji stvaraju robote tražilica ne moraju poštivati standarde i zaista postoje roboti-odmetnici koji divljaju po Webu. Roboti svih glavnih tražilica funkcioniraju u skladu sa standardom.

Jednostavna datoteka robots.txt izgleda ovako:
Disallow: /popups/
Disallow: popup.htm
Disallow: /slike/
Disallow: /js/
Disallow: /css/

Disallow linije govore robotu koje mape ili datoteke nisu dostupne. U prethodnom primjeru blokirane su mape popups, slike, js i css te datoteka popup.htm. Linija User-agent naznačuje na kojeg se robota odnose Disallow linije. Ako kao vrijednost navedemo zvjezdicu(*), Disallow linije će se odnositi na sve robote.