Crawl budget optimering
Crawl budget er det antal sider, Googlebot crawler på dit site inden for en given periode. For små websites er crawl budget sjældent et problem, men for store sites med tusindvis eller millioner af sider er det en kritisk faktor for SEO-succes.
Hvad er crawl budget?
Crawl budget består af to komponenter:
Crawl rate limit
Crawl rate limit er det maksimale antal samtidige forbindelser, Googlebot bruger til at crawle dit site, samt ventetiden mellem requests. Google justerer dette baseret på din servers kapacitet — hvis serveren er langsom, reducerer Google crawl raten.
Crawl demand
Crawl demand er Googles ønske om at crawle dine sider. Populære sider med mange links og hyppige opdateringer crawles oftere. Forældede sider med få links crawles sjældnere.
Hvem skal bekymre sig om crawl budget?
Ifølge Google er crawl budget primært relevant for sites med mere end 10.000 unikke sider, sites med mange auto-genererede sider, eller sites med langsom servertid. Mindre sites behøver sjældent at tænke over det.
Faktorer der påvirker crawl budget
Serverresponstid
En langsom server reducerer crawl raten. Google ønsker ikke at overbelaste din server, så langsom responstid resulterer i færre crawlede sider. Hold TTFB under 200ms for optimal crawling.
URL-parametre
Facetteret navigation, filtre og sorteringsparametre kan eksplodere antallet af URL'er. En webshop med 100 produkter kan nemt generere tusindvis af URL-kombinationer via filtre.
Duplikeret indhold
Duplikerede sider spilder crawl budget. Google bruger ressourcer på at crawle og sammenligne duplikerede versioner i stedet for at opdage nyt indhold.
Redirect-kæder
Hver redirect i en kæde koster en crawl-request. Lange redirect-kæder spilder crawl budget og forsinker indeksering.
Soft 404'ere
Sider der returnerer en 200-statuskode men viser tomt eller "ikke fundet"-indhold spilder crawl budget. Returner en rigtig 404 eller 410 for fjernede sider.
Strategier til optimering
Optimer robots.txt
Brug robots.txt til at blokere crawling af lavværdi-sider som interne søgeresultater, filtrerede produktlister og administratorsider.
Brug canonical tags
Konsolider duplikeret indhold med canonical tags, så Google forstår, hvilken version der er den primære.
Ryd op i URL-parametre
Konfigurer URL-parametre i Google Search Console, og brug canonical tags til at pege parameteriserede URL'er til den kanoniske version.
Optimer sitemap
Inkluder kun vigtige, indekserbare sider i dit sitemap. Fjern sider med noindex, redirects og 404-fejl.
Forbedre intern linking
En stærk intern linkstruktur hjælper Google med at opdage og prioritere vigtige sider. Sider der er mange klik fra forsiden, crawles sjældnere.
Fjern eller konsolider tyndt indhold
Sider med minimalt eller intet unikt indhold spilder crawl budget. Overvej at fjerne, sammenslå eller forbedre disse sider.
Overvågning af crawl budget
Google Search Console
Crawl-statistikrapporten i Google Search Console viser, hvor mange sider Google crawler dagligt, svartider og crawl-fejl. Overvåg denne rapport regelmæssigt.
Serverlogfiler
Analyse af serverlogfiler giver detaljeret indsigt i Googlebots adfærd — hvilke sider den crawler, hvor ofte, og i hvilken rækkefølge. Brug værktøjer som Screaming Frog Log Analyzer.
Ofte stillede spørgsmål
Har mit lille website et crawl budget-problem?
Sandsynligvis ikke. Google crawler de fleste små sites (under 10.000 sider) hurtigt og fuldstændigt. Crawl budget er primært relevant for store, komplekse websites.
Kan jeg øge mit crawl budget?
Du kan ikke direkte øge dit crawl budget, men du kan forbedre din crawl rate ved at øge serverperformance og reducere antallet af unødvendige URL'er.
Tæller blokerede sider i robots.txt mod mit crawl budget?
Google tjekker robots.txt før crawling, så blokerede sider bruger minimale ressourcer. Men Google sender stadig en request for at tjekke robots.txt-filen selv.
Påvirker 404-sider crawl budget?
Ja, Google crawler 404-sider for at verificere, at de stadig er fjernet. Over tid reducerer Google crawl-frekvensen for 404-sider, men initialt bruger de crawl budget.