Crawlability & Indeksering

Sådan sikrer du, at Google finder dit indhold

Du kan have skrevet Danmarks bedste artikler og opbygget det smukkeste design, men hvis Google ikke kan crawle eller indeksere dine sider, vil de aldrig dukke op i søgeresultaterne.

Mange hjemmesideejere oplever at udgive nye undersider, som Google tilsyneladende helt ignorerer. Det skyldes næsten altid tekniske barriere i sitets opbygning.

Crawlability og indeksering udgør det absolut mest grundlæggende lag i teknisk SEO. I denne guide gennemgår vi, hvordan Googles søgerobotter arbejder, hvorfor indekseringsfejl opstår, og hvordan du sikrer, at dit indhold kommer hurtigt i søgeregisteret.

Forskellen på Crawling og Indeksering

Selvom ordene ofte bruges i flæng, dækker de over two forskellige faser i Googles arbejde:

1. Crawling (Gennemgang): Processen hvor Googles søgerobot (Googlebot) opdager og downloader din side ved at følge links fra andre sider eller læse dit XML-sitemap.
2. Indeksering (Gem i biblioteket): Processen hvor Google analyserer indholdet på siden, forstår konteksten og gemmer den i sit enorme bibliotek (Google-indekset). Først når en side er indekseret, kan den ranke på søgeord.

Hvis der er forhindringer i crawl-fasen, når siden aldrig til indekseringsfasen.

De vigtigste tekniske byggeklodser for indeksering

For at styre hvordan søgerobotterne bevæger sig rundt på dit website, bruges en række tekniske direktiver.

Når vi opsætter helstøbt hjemmeside SEO, fokuserer vi især på disse fire mekanismer:

Mekanisme	Hvad gør den?	Typisk faldgrube
Robots.txt	En tekstfil der fortæller søgerobotterne, hvilke områder af sitet de ikke må besøge.	At blokere for vigtige CSS- eller JS-filer ved en fejl.
XML Sitemap	En “indholdsfortegnelse” over alle de sider, du ønsker indekseret på dit domæne.	At lade forældede, slettede eller Omdirigerede URL’er blive i sitemappet.
Noindex Meta-tag	Et kode-element der beder Google om ikke at vise en specifik side i søgeresultaterne.	At glemme at fjerne noindex-tagget, når et nyt site går fra testmiljø til live.
Canonical Tags	Fortæller Google, hvilken URL der er den “originale” version, hvis der findes duplikeret indhold.	Manglende eller selvrefererende canonical tags på webshops med produktfiltrering.

Hvad er Crawl Budget – og hvorfor betyder det noget?

Google afsætter ikke uendelige ressourcer til at crawle det enkelte website. Hver hjemmeside tildeles et såkaldt Crawl Budget – et maksimalt antal sider, som Googlebot vil besøge inden for et givent tidsrum.

Hvis du har et meget stort website (f.eks. en stor webshop med mange kategorier og filtre), risikerer du, at Google opbruger sit crawl budget på uvigtige sider, før robotten når frem til dine vigtigste indholdssider.

Du optimerer dit crawl budget ved at:

• Forbedre hjemmesidens hastighed, så Googlebot kan indlæse siderne hurtigere.
• Rydde op i døde links (404-fejl) og lange omdirigeringskæder (301-redirects).
• Etablere en klar intern linkstruktur, så Googlebot hurtigt kan navigere mellem dine vigtigste emner.

Vores erfaring: Vi ser ofte, at større hjemmesider har hundredvis af “tynde” eller duplikerede sider indekseret uden grund. Ved at rydde op i indekset og noindex’e uvigtige intern søgesider eller filtreringer, koncentreres Googles autoritet på de sider, der reelt skaber forretning. Selv små hjemmesider kan med dårlig opsætning “eksplodere” i Googles index med tynde og duplikerede sider

Fejlfinding: Hvorfor bliver min side ikke indekseret?

Hvis en ny eller opdateret side ikke dukker op i Google, kan du bruge Google Search Console til at diagnosticere årsagen.

Brug værktøjet URL-inspektion i Search Console. Det giver dig svar på:

• Er URL’en opdaget, men endnu ikke crawlet?
• Er siden crawlet, men i øjeblikket ikke indekseret? (Betyder ofte, at Google vurderer indholdskvaliteten som for lav eller for tæt på eksisterende indhold).
• Bliver siden blokeret af robots.txt eller et noindex-tag?

Skal vi hjælpe dig med at få styr på de tekniske indekseringsfejl?

Ligger dine sider og gemmer sig for søgemaskinerne, eller har du tekniske advarsler i Search Console, som du ikke vet hvordan du løser?

Vi foretager en grundig teknisk gennemgang af din hjemmeside og sikrer, at Google har uhhindret adgang til at crawle og indeksere dit vigtigste indhold. Læs mere om vores tilgang på vores SEO bureau side.