Indeksiranje web stranica je prva i osnovna faza rada pretraživača. Može se reći da sve dok sajt nije indeksiran, faktički, on i ne postoji i ne može se pronaći preko pretraživača. Pretraživači indeksiraju kompletan web i prave ogromne baze podataka sakupljanjem ključnih riječi i drugih informacija. Te baze podataka povezuju sadržaj Web stranica sa ključnim riječima i web adresama. U zavisnosti od toga koje je riječi ili termine korisnik unio u pretragu, pretraživač će prikazati rezultate iz baze podataka.

Istraživanja pokazuju da se u 80 % slučajeva sajtovima pristupa preko pretraživača, što je dovoljan razlog da je kompanijama važno da njihove web adrese budu među prvima u rezultatima pretraživanja koje korisnici dobiju za određene termine. Visoko  pozicioniranje u rezultatima pretrage postiže se dobrom optimizacijom sajta za pretraživače (Search Engine Optimization – SEO). Suština optimizacije je da se sadržaj sajta organizuje na taj način kako bi ga pretraživači indeksirali na najbolji način. Koliko je važna činjenica da sajt bude dobro pozicioniran govore sledeće činjenice:

-         NPD Group[1], agencija specijalizovana za istraživanja u kupovini, ukazala je da su pretraživači dva do tri puta efektivnije povećavaju prodaju nego što to čine reklamni baneri.

-         Preko 80 % korisnika Interneta sajtove pronalaze putem pretraživača.

Funkcionisanje web pretraživača

Rad pretraživača se u osnovi sastoje od tri faze:

1. Prikupljanje informacija (crawling)
2. Indeksiranje prikupljenih podataka
3. Pretraga i rangiranje rezultata

Pomoću web crawlera pretraživači najpre prikupljaju informacije o stranicama na Internetu. Svi ti podaci se indeksiraju, obrađuju i snimaju u baze podataka. Kada korisnik unese termin za pretraživanje, treći dio pretraživača vrši pretragu i rangiranje rezultata koje potom prikazuje na rezultatima pretrage.

Da bi pretraživač mogao da vrati neki dokument kao rezultat upita on ga najprije mora pronaći. Da bi našli informacije koje se nalaze na milijardama Web strana, pretraživači koriste crawlere. Web crawler (u upotrebi su još izrazi web spider, web robot, web bot) predstavlja program ili skript koji automatizovano krstari Internetom prikupljajući informacije o web stranama. Ovaj proces prikupljanja informacija se naziva web crawling ili spidering.

U zavisnosti od implementacije, crawleri šalju različite informacije matičnim serverima. Neki od njih šalju samo URL adresu stranice koju posjete, drugi šalju naslov ili sadržaj tačno određenih HTML tagova dok treći šalju cjelokupan sadržaj.

Mnogi pretraživači prikazuju deset rezultata pretrage po strani, pa se stoga posebna pažnja posvećuje pozicioniranosti sajta. Bez obzira na to da ukoliko je pretraživač indeksirao sajt, to nije od velike koristi ukoliko adresa sajta nije prikazana na prve tri ili četiri strane u rezultatima pretrage. Korisnici rijetko gledaju dalje, pa su loše pozicionirani sajtovi najčešće nevidljivi za većinu korisnika.

Da bi postojanje sajta ostvarilo maksimalni učinak potrebno je odrediti ciljnu grupu posjetilaca, analizu konkurencije, PPC[2] oglašavanje i po mogućnosti materijal i sadržaj sajta zaštiti autorskim pravima.

S obzirom da se tehnologija pretraživača stalno mijenja, potrebno je pratiti te promjene i prema njima prilagođavati SEO strategiju.