Når du søker med et nøkkelord på en søkemotor som Google eller Bing, blar søkemotoren gjennom billioner av sider for å generere en liste over resultater relatert til ordet du søkte på. Hvordan har disse søkemotorene alle disse sidene lagret, og vet hvordan de skal lete etter dem og generere disse resultatene i løpet av sekunder?
Svaret er web crawlere. Dette er automatiserte programmer (ofte kalt «roboter» eller «bots») som «kryper» eller surfer over Internett slik at de kan legges til søkemotorer. Disse robotene indekserer nettsteder og lager en liste over sider som til slutt vises i søkeresultatene dine.
Crawlere lager og lagrer også kopier av disse sidene i søkeemotorens database, som lar deg gjøre søk nesten umiddelbart. Dette er også grunnen til at søkemotorer ofte inkluderer bufrede versjoner av nettsteder i databasen.
Hvordan optimere for web crawling?
SEO-spesialister har forskjellige verktøyer for å hjelpe søkemotorene med å lese og forstå innholdet på nettstedene. Noen av dem inkluderer:
- Et oppdatert og riktig formatert sitemap
- En robots.txt-fil satt opp riktig
- God struktur på interne lenker
- Kontroller indekseringen i Google Search Console og rett eventuelle feilmeldinger
Site Maps og Selection
Så hvordan velger søkeroboter hvilke nettsteder som skal gjennomsøkes? Det vanligste scenariet er at nettstedeiere vil at søkemotorer skal gjennomsøke nettsidene deres. De kan oppnå dette ved å be Google, Bing, Yahoo eller en annen søkemotor om å indeksere sidene deres. Denne prosessen varierer fra motor til motor. Søkemotorer velger også ofte populære, godt lenkede nettsteder å gjennomsøke ved å spore antall ganger en URL er koblet på andre offentlige nettsteder.
Nettstedseiere kan bruke visse prosesser for å hjelpe søkemotorer med å indeksere nettsidene deres, som f.eks ved å laste opp et nettstedskart. Dette er en fil som inneholder alle lenker og sider som er en del av nettstedet. Det brukes vanligvis til å vise hvilke sider du vil ha indeksert. Når søkemotorer allerede har gjennomsøkt et nettsted én gang, vil de automatisk gjennomsøke nettstedet igjen. Frekvensen varierer basert på hvor populær et nettsted er. Derfor er det en god ide å holde nettstedskartene oppdaterte for å la motorer vite hvilke nye nettsider som skal indekseres.
Metadata
Under nettadressen og tittelen til hvert søkeresultat i Google finner du en kort beskrivelse av siden. Disse beskrivelsene kalles snippets. Kanskje legger du merke til at kodebiten på en side i Google ikke alltid lenker til det faktiske innholdet på nettstedet. Dette er fordi mange nettsteder har noe som kalles «Meta-tagger», som er brukerdefinerte beskrivelser som nettstedeiere legger til sidene sine. Nettstedseiere kommer ofte med fristende metadatabeskrivelser skrevet for å få deg til å klikke på et nettsted. Google viser også annen metainformasjon, for eksempel priser og lagertilgjengelighet. Dette er spesielt nyttig for de som driver e-handelssider.
Søkeintensjon
Å forstå søkeintensjonen er avgjørende for SEO-spesialister, da det hjelper dem med å matche bedrifter med korrekte kunder. Å skrive innhold basert på søkeintensjon betyr at man må analysere bruken av søkeord og kundereisen, slik at man kan finne behovet som ligger bak et søk.
