Teslio

Mnogi sajtovi sadržavaju strane za koje nije potrebno da se nađu u rezultatima pretraživanja. Primjeri takvih strana su odredbe o zaštiti prava i privatnosti, uslovi upotrebe, kontakt forme itd i što se tiče njihovog indeksiranja od strane pretraživača, mogu se nazvati „suvišnim“ stranama. One mogu biti veoma važne iz perspektive korisnika ali ne vrijede mnogo u procesu optimizacije. Suvišne strane, prema formuli za izračunavanje PageRanka, mogu negativno uticati na rejting drugih strana jer se PageRank raspodjeljuje podjednako na sve izlazne linkove, a u ovom slučaju i na njih.
Postoji nekoliko načina za rješavanje tog problema a najpoznatiji su robots.txt protokol i nofollow atribut.

Robots.txt

Robots.txt protokol je način kojim se onemogućuje web crawlerima i drugim web robotima pristup određenim dijelovima sajta koji su vidljivi posjetiocima.

Ako vlasnik sajta želi dati instrukcije web robotima, onda mora u root direktorijumu sajta postaviti tekstualni fajl sa nazivom robots.txt u kojem su one navedene. Ako taj fajl ne postoji, roboti pretpostavljaju da vlasnik sajta ne želi dati neke posebne instrukcije.

Robots.txt fajl funkcioniše tako što robotima specificira fajlove ili direktorijume koje će oni da zanemare u svojoj pretrazi. To mogu biti neke strane koje nisu bitne u procesu kategorizacije sajta (npr. strane o uslovima upotrebe, odredbe o privatnosti i sl.). Ukoliko sajt sadrži poddomene, za svaki od njih je potrebno posebno definisati robots.txt fajl.

Protokol ima isključivo savjetodavnu ulogu i zasniva se na kooperativnosti web robota. Označavanjem sadržaja u robots.txt fajlu ne garantuje se privatnost, odnosno da taj sadržaj neće biti indeksiran.

Primjeri:
Kada se definišu direktorijumi kojima se želi onemogućiti pristup, potrebno je na kraju dodati karaketer '/' jer će se u suprotnom slučaju onemogućiti pristup svim direktorijumima koji počinju sa istim nazivom.

Sledeći primjer dozvoljava svim robotima da posjete sve fajlove:
User-agent: *
Disallow:

Sledeći primjer ne dozovoljava pristup svim robotima sajtu:
User-agent: *
Disallow: /

Sledeći primjer upućuje crawlerima listu od četiri direktorijuma kojima nije dozvoljen pristup:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Sledeći primjer upućuje specifičnom crawleru da ne prisupa specifičnom direktorijumu:
User-agent: Googlebot
Disallow: /private/

Sledeći primjer upućuje svim crawlerima da ne pristupaju specifičnom fajlu a svim ostalim fajlovima u istom direktorijumu omogućava pristup:
User-agent: *
Disallow: /directory/file.html

Neki vodeći crawleri podržavaju Allow komandu koji ima suprotan efekat od Disallow komande. Ovo može biti korisno kada se onemogućuje pristup čitavom folderu ali sa željom da neki HTML dokumenti u direktorijumu ipak budu indeksirani. Da bi to bilo kompatibilno sa svim robotima, potrebno je prvo definisati Allow pa onda Disallow komandu, npr:

Allow: /folder1/primjer.html
Disallow: /folder1/

Nofollow atribut

Da bi se izbjeglo rasipanje PageRanka, Google je 2005. godine za proces optimizacije sajtova uveo „nofollow“ atribut.
Atribut „nofollow“ je način kojim se pretraživačima upućuje da ne slijede linkove na određenoj strani ili da ne slijede određeni link. Prvobitno je atribut korišten kao instrukcija pretraživačima da ne slijede odlazne linkove unutar teksta na određenoj strani. Na primjer:

Atribut „nofollow“ daje kontrolu na nižem nivou i on upućuje crawlere da ne prate tačno određeni link. Na primjer:

.

Interno postavljanje linkova

U prethodnim koracima optimizacije sajta kreirana je lista ključnih riječi i određene su ciljne web strane koje će da se pojave u rezultatima pretraživanja. Osnovna ideja internog linkovanja je da se od ukupnog iznosa PageRanka što veći dio prenese na te ciljane strane.
Iznos PageRanka koji jedna strana može da da drugim stranama, limitiran je brojem dolaznih linkova, a taj iznos koji se prosljeđuje, dijeli se jednako na sve izlazne linkove te strane.
Optimizacije sajta u ovom koraku podrazumjeva smanjenje broja linkova na manje važne ili suvišne strane i povećanje broja strana koje imaju link prema ciljanim stranama.

Početna strana je specijalan slučaj internog postavljanja linkova jer veliki dio PageRanka sajta dolazi i prosljeđuje se sa nje. Sa početne strane je potrebno ukloniti sve suvišne linkove. Linkovi se ne moraju uklanjati na uštrb funkcionalnosti sajta, dovoljno je kombinovati više strana (npr. odredbe o zaštiti privatnosti, uslovi upotrebe, kontakt informacije i sl.) na jednu stranu. Linkovi se, zatim, mogu postavljati prema sekcijama te strane a svi oni zajedno će se računati kao jedan link.
Sa početne strane treba izbjegavati i postavljanje linkova prema drugim sajtovima, ukoliko ne postoji dobar razlog za to. Postavljanje linkova prema ciljanim web stranama pomaže u njihovom indeksiranju.
Na mnogim sajtovima, linkovi globalne navigacije se nalaze na svim stranama drugog nivoa kao i na početnoj strani. Takva struktura linkova dovodi do nakupljanja velikog dijela PageRanka na drugom a na račun trećeg nivoa.
U tipičnim sajtovima, pogotovo onim koji se bave prodajom, najvažniji sadržaj se nalazi upravo na trećem nivou. Prosljeđivanje većeg dijela PageRanka se može izvesti tako što se na drugom nivou „maskiraju“ linkovi prema drugim stranama tog nivoa (osim ako neka od njih nije ciljna strana). Maskiranje se vrši pomoću „nofollow“ atributa. U teoriji, na ovaj način se postiže veća posjećenost tih strana (npr. strana proizvoda) pa se samim tim povećava i konverzija posjetilaca u kupce, odnosno povećava prodaja.

Prethodni blog: Izrada strukture sajta i SEO - 1.dio

Sledeći blog: Izrada strukture sajta i SEO - 3.dio (Page Rank problem sa stranama trećeg nivoa)