Hvad er Robots.txt?

Robots.txt er en simpel tekstfil placeret i roden af dit domæne (eksempel.dk/robots.txt), der giver instruktioner til søgemaskiners crawlere om, hvilke dele af dit website de må og ikke må besøge. Det er den første fil, en crawler tjekker, før den begynder at crawle dit site.

Hvorfor er robots.txt vigtig for SEO?

Robots.txt spiller en vigtig rolle i at styre dit crawl budget effektivt. Ved at blokere crawlere fra uinteressante sider (admin-paneler, søgeresultatsider, filtre) sikrer du, at Googlebot bruger sin tid på dine vigtigste sider. Det er også nyttigt til at forhindre crawling af sider under udvikling eller med fortroligt indhold.

Grundlæggende robots.txt-syntaks

En robots.txt-fil består af regler med User-agent og Allow/Disallow-direktiver:

User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /

Sitemap: https://eksempel.dk/sitemap.xml

• User-agent: Angiver hvilken crawler reglen gælder for (* = alle)
• Disallow: Blokerer crawling af en sti
• Allow: Tillader crawling (bruges til at overstyre en Disallow)
• Sitemap: Peger crawlere til dit sitemap

Best practices

Hold din robots.txt simpel og vedligeholdt. Inkluder altid en reference til dit XML-sitemap. Brug Disallow kun til sider, der ikke bør crawles — ikke til sider du ikke vil have indekseret (brug noindex i stedet). Test ændringer i Google Search Console's robots.txt-tester, før du deployer.

Almindelige fejl

Den mest kritiske fejl er utilsigtet at blokere vigtige sider med Disallow: /, der blokerer hele sitet. En anden fejl er at forveksle Disallow med noindex — robots.txt forhindrer crawling, men sider kan stadig indekseres, hvis der linkes til dem udefra. Brug noindex-metatag for at forhindre indeksering.

Praktisk tip

Tjek din robots.txt-fil regelmæssigt via dit-domæne.dk/robots.txt. Brug Google Search Console's URL-inspektion til at verificere, at vigtige sider ikke er blokeret. Husk at robots.txt er offentligt tilgængelig — angiv aldrig stier til fortrolige sider, da det blot gør dem lettere at finde.