Hvad er Crawl budget?

Crawl budget er et begreb, der beskriver det antal sider, Google er villig til og i stand til at crawle på din hjemmeside inden for en given tidsperiode. Det bestemmes af to faktorer: crawl rate limit (hvor hurtigt Google crawle uden at overbelaste din server) og crawl demand (hvor meget Google ønsker at crawle dit indhold baseret på popularitet og aktualitet).

Hvorfor er crawl budget vigtig for SEO?

For de fleste små til mellemstore hjemmesider er crawl budget sjældent et problem. Men for store sites med tusindvis eller millioner af sider er det kritisk. Hvis Google bruger sit crawl budget på uvigtige sider (filtersider, duplikerede sider, arkiver), kan vigtige sider forblive u-crawlede og u-indekserede i længere tid. Det betyder, at nyt indhold og opdateringer når langsommere ud i søgeresultaterne.

Faktorer der påvirker crawl budget

Flere faktorer påvirker dit crawl budget: sidehastighed (hurtigere sider tillader mere crawling), serverfejl (500-fejl reducerer crawl rate), duplikeret indhold, URL-parametre, redirect-kæder og sitets samlede autoritet. Google crawler oftere sider, der opdateres regelmæssigt og har mange indgående links.

Best practices

Bloker uvigtige sider i robots.txt for at forhindre Googlebot i at spilde crawl budget. Brug canonical tags til at konsolidere duplikerede sider. Sørg for, at dit sitemap kun indeholder sider, du ønsker indekseret. Optimer din sidehastighed, så Google kan crawle flere sider hurtigere. Fjern eller noindex tyndt indhold og forældede sider.

Almindelige fejl

En hyppig fejl er at have tusindvis af facetnavigationssider eller URL-parametre, der skaber eksplosiv vækst i antal URL'er. En anden fejl er at bekymre sig om crawl budget på et site med under 10.000 sider — for de fleste sites er det simpelthen ikke et problem. Mange overser også, at soft 404-sider (sider der returnerer 200 men har tomt indhold) spilder crawl budget.

Praktisk tip

Brug Google Search Console-rapporten "Crawl stats" til at se, hvor mange sider Google crawler dagligt, og den gennemsnitlige svartid. Sammenlign med det samlede antal URL'er i dit sitemap. Hvis der er stor forskel, er det tid til at optimere dit crawl budget ved at rydde op i unødvendige URL'er.