Een robots.txt bestand is een klein tekstbestand op je website dat aangeeft welke pagina’s zoekmachines wel of niet mogen bekijken.
Het is een soort richtlijn voor bots van Google wanneer ze je website crawlen.
Hoe werkt een robots.txt bestand?
Wanneer een zoekmachine je website bezoekt, kijkt die eerst naar het robots.txt bestand.
Daarin staat bijvoorbeeld:
- Welke pagina’s toegankelijk zijn
- Welke pagina’s je wil blokkeren
Je kan bijvoorbeeld zeggen: “deze map mag je niet bekijken”.
Waarom zou je pagina’s blokkeren?
Niet elke pagina op je website is bedoeld om gevonden te worden in Google.
Bijvoorbeeld:
- Admin pagina’s
- Testpagina’s
- Dubbele content
- Bedankpagina’s na een formulier
Met robots.txt voorkom je dat deze pagina’s worden gecrawld.
Is robots.txt hetzelfde als noindex?
Nee, dit wordt vaak verward.
- Robots.txt → voorkomt dat een pagina gecrawld wordt
- Noindex → zorgt dat een pagina niet in Google verschijnt
Beide worden gebruikt binnen SEO, maar hebben een andere functie.
Waarom is dit belangrijk voor jouw website?
Voor kleine zelfstandigen is dit meestal geen dagelijks werk, maar het speelt wel een rol op de achtergrond.
Een verkeerd ingesteld robots.txt bestand kan ervoor zorgen dat belangrijke pagina’s niet zichtbaar zijn in Google. Daarom is het belangrijk dat dit correct staat, zeker bij nieuwe websites of aanpassingen.