Wat is robots.txt en hoe werkt het met Yoast SEO?
Robots.txt is een tekstbestand dat zich in de hoofdmap van je website bevindt en instructies geeft aan zoekmachines en andere webcrawlers welke pagina's zij mogen of niet mogen indexeren. Het bestand communiceert rechtstreeks met de bots van Google, Bing en andere zoekmachines om hun crawlgedrag te sturen. Yoast SEO is een WordPress-plugin die onder meer de mogelijkheid biedt om dit robots.txt-bestand automatisch te beheren en aan te passen zonder dat je handmatig code hoeft te schrijven.
Het robots.txt-bestand werkt op basis van het Robots Exclusion Standard, een protocol dat al sinds de jaren negentig wordt gebruikt. Wanneer een crawler een website bezoekt, is het eerste wat het doet het opvragen van het robots.txt-bestand. Dit bestand bevat regels die bepalen welke mappen, bestanden of URL-patronen de crawler mag crawlen. Yoast SEO vereenvoudigt het beheer van deze regels door een gebruiksvriendelijke interface te bieden waar je deze instellingen kunt configureren zonder technische kennis.
De structuur van robots.txt
Een typisch robots.txt-bestand bevat User-Agent-richtlijnen en Disallow- of Allow-instructies. De User-Agent geeft aan op welke crawler de regel van toepassing is. Bijvoorbeeld:
- User-agent: * – Dit geldt voor alle crawlers
- User-agent: Googlebot – Dit geldt alleen voor Google's crawler
- Disallow: / – Dit verbiedt crawlen van alle pagina's
- Disallow: /admin/ – Dit verbiedt crawlen van de admin-map
- Allow: / – Dit staat crawlen toe (gebruikt voor uitzonderingen)
- Sitemap: – Dit geeft de locatie van je sitemap aan
Yoast SEO genereert en beheert deze structuur automatisch op basis van je WordPress-instellingen. Je hoeft niet handmatig code in te voeren tenzij je zeer specifieke vereisten hebt.
Waarom robots.txt belangrijk is voor SEO
Een correct geconfigureerde robots.txt heeft meerdere voordelen voor je SEO-strategie:
- Crawlbudget optimalisatie: Google wijdt slechts een bepaalde hoeveelheid resources toe aan het crawlen van je website. Door onbelangrijke pagina's uit te sluiten, zorg je ervoor dat Google zijn crawlbudget besteedt aan pagina's die werkelijk belangrijk zijn voor je ranking.
- Voorkoming van duplicate content: Door bepaalde versies van pagina's uit te sluiten (zoals print-versies of admin-pagina's), voorkom je dat Google dezelfde inhoud meerdere keren indexeert.
- Beveiliging: Je kunt gevoelige mappen zoals /wp-admin/ of /wp-includes/ uitsluiten om ze niet in de zoekresultaten te laten verschijnen.
- Snelheid verbetering: Minder crawlen betekent minder belasting op je server.
- Sitemap-registratie: Je kunt de locatie van je XML-sitemap in robots.txt opgeven, wat crawlers helpt alle belangrijke pagina's te vinden.
Hoe Yoast SEO robots.txt beheert
Yoast SEO genereert automatisch een robots.txt-bestand op basis van je WordPress-instellingen en de instellingen die je in de plugin configureert. Dit gebeurt zonder dat je een fysiek bestand hoeft te uploaden. In plaats daarvan wordt het bestand dynamisch gegenereerd wanneer een crawler het opvraagt.
Je kunt in Yoast SEO naar Instellingen → Geavanceerd → Robots.txt gaan om het gegenereerde bestand in te zien en aan te passen. Hier kun je handmatig regels toevoegen of wijzigen als je dat nodig hebt. Yoast voegt standaard bepaalde regels toe, zoals het uitsluiten van de wp-admin-map en het toevoegen van de sitemap-locatie.
Het is belangrijk om robots.txt niet te verwarren met meta robots-tags. Hoewel beide de crawling en indexering van je website beïnvloeden, werken ze anders:
| Aspect |
Robots.txt |
Meta robots-tag |
| Locatie |
Hoofdmap van de website |
HTML head-sectie van elke pagina |
| Bereik |
Hele mappen of URL-patronen |
Individuele pagina's |
| Functie |
Voorkomt crawlen |
Voorkomt indexering en andere acties |
| Beheer in Yoast |
Via Geavanceerd → Robots.txt |
Via individuele pagina-instellingen |
Robots.txt zegt tegen Google: "Kom deze pagina niet crawlen." Meta robots-tags zeggen: "Je mag deze pagina crawlen, maar indexeer hem niet." Dit is een cruciaal verschil. Als je een pagina in robots.txt blokkeert, kan Google deze niet indexeren omdat hij hem niet eens kan zien. Als je een meta robots-tag met noindex gebruikt, kan Google de pagina wel crawlen, ziet dat hij noindex bevat, en indexeert hem niet.
Standaardregels die Yoast SEO toevoegt
Wanneer je Yoast SEO installeert, voegt het automatisch bepaalde regels toe aan je robots.txt:
- Uitsluiting van WordPress-systeemmappen zoals /wp-admin/, /wp-includes/ en /wp-content/plugins/
- Uitsluiting van bepaalde bestandstypen die niet relevant zijn voor SEO
- Toevoeging van de sitemap-locatie
- Uitsluiting van private pagina's en concepten
Deze standaardregels zijn ontworpen om je website veiliger te maken en je crawlbudget efficiënter in te zetten. Je kunt deze regels echter aanpassen als je specifieke behoeften hebt.
Waarom je robots.txt goed moet beheren
Een slecht geconfigureerde robots.txt kan ernstige gevolgen hebben voor je SEO. Als je per ongeluk alle pagina's blokkeert met "Disallow: /", zal Google je website niet kunnen indexeren en verschijn je niet in de zoekresultaten. Aan de andere kant, als je robots.txt niet goed is ingesteld, kan Google tijd verspillen met het crawlen van pagina's die niet belangrijk zijn, wat je crawlbudget verspilt.
Yoast SEO helpt deze problemen te voorkomen door een veilige standaardconfiguratie te bieden en je te waarschuwen voor mogelijke fouten. De plugin controleert ook of je robots.txt correct is opgesteld en geeft meldingen als er problemen zijn.
Hoe robots.txt en Yoast SEO samenwerken
Yoast SEO integreert robots.txt-beheer in een groter SEO-optimalisatieraamwerk. Terwijl robots.txt bepaalt welke pagina's kunnen worden gecrawld, gebruikt Yoast SEO andere tools om ervoor te zorgen dat je website optimaal wordt geïndexeerd en gerangschikt:
- XML-sitemaps: Yoast genereert XML-sitemaps en voegt deze toe aan robots.txt, zodat Google weet welke pagina's het moet indexeren.
- Meta robots-tags: Yoast stelt automatisch noindex-tags in voor pagina's die je niet wilt indexeren, aanvullend op robots.txt-regels.
- Canonical tags: Yoast voegt canonical tags toe om duplicate content-problemen op te lossen.
- Robots.txt-validatie: Yoast controleert je robots.txt op fouten en geeft aanbevelingen.
Dit geïntegreerde benadering zorgt ervoor dat je robots.txt niet alleen correct is geconfigureerd, maar ook goed samenwerkt met andere SEO-elementen van je website.
Stap-voor-stap strategie voor robots.txt en Yoast SEO
Het beheren van robots.txt in combinatie met Yoast SEO vereist een doordachte aanpak. De meeste problemen ontstaan doordat gebruikers niet begrijpen hoe deze twee systemen samenwerken, of doordat zij conflicterende richtlijnen instellen. Deze sectie biedt een praktische strategie om dit correct in te richten.
Stap 1: Controleer uw huidige robots.txt-bestand
Voordat u wijzigingen aanbrengt, moet u weten wat er momenteel in uw robots.txt-bestand staat. Dit bestand bevindt zich in de rootmap van uw website (bijvoorbeeld: example.com/robots.txt).
- Open uw bestand via FTP, SFTP of de bestandsbeheerder van uw hostingprovider
- Lees de inhoud zorgvuldig door om bestaande regels te identificeren
- Noteer welke mappen of bestandstypen al geblokkeerd zijn
- Controleer of er sitemap-verwijzingen aanwezig zijn
Als u geen robots.txt-bestand hebt, zal Yoast SEO er automatisch een aanmaken wanneer u bepaalde instellingen activeert. Dit gebeurt echter niet altijd onmiddellijk; soms duurt het enkele minuten.
Stap 2: Navigeer naar de Yoast SEO-instellingen
In WordPress vindt u de relevante instellingen onder het menu Yoast SEO. Het exacte pad hangt af van uw Yoast-versie, maar volgt meestal dit patroon:
- Ga naar Yoast SEO in het linkernavigatiemenu
- Klik op Instellingen of Settings
- Selecteer het tabblad Geavanceerd of Advanced
- Zoek naar de sectie Webmaster-tools of Crawlers
In sommige versies van Yoast SEO vindt u de robots.txt-instellingen ook onder Zoekmachines of Search Appearance. De locatie kan verschillen tussen versies, dus controleer de Yoast-documentatie voor uw specifieke versie.
Stap 3: Bepaal uw blokkeerbeleid
Voordat u regels toevoegt, moet u beslissen welke delen van uw site u wilt blokkeren. Dit hangt af van uw doelstellingen en de aard van uw website.
Mappen die u meestal wilt blokkeren:
- wp-admin/ – Het WordPress-administratiepaneel. Dit hoort niet in zoekresultaten te verschijnen.
- wp-includes/ – Systeembestanden van WordPress. Deze zijn niet relevant voor bezoekers.
- /cart/ of /checkout/ – Winkelwagen- en betalingspagina's (voor e-commerce sites)
- /private/ – Privéinhoud die niet openbaar mag zijn
- /temp/ of /tmp/ – Tijdelijke bestanden
- /?s= – Zoekresultaatpagina's (deze genereren veel duplicaat-inhoud)
Mappen die u meestal NIET wilt blokkeren:
- /wp-content/ – Dit bevat uw afbeeldingen, plugins en thema's. Blokkering kan problemen veroorzaken.
- Uw hoofdpagina's en artikelen
- Uw categorie- en tag-pagina's (tenzij u duplicaat-inhoud wilt voorkomen)
Stap 4: Voeg sitemap-verwijzingen toe
Yoast SEO genereert automatisch sitemaps voor uw website. U moet ervoor zorgen dat deze in uw robots.txt-bestand worden vermeld, zodat zoekmachines deze gemakkelijk kunnen vinden.
Voeg deze regel toe aan uw robots.txt:
Sitemap: https://example.com/sitemap_index.xml
Vervang "example.com" door uw werkelijke domeinnaam. Als u meerdere sitemaps hebt, kunt u meerdere Sitemap-regels toevoegen. Yoast genereert meestal een sitemap_index.xml die naar alle andere sitemaps verwijst, dus dit is meestal voldoende.
Stap 5: Voeg user-agent-specifieke regels toe
U kunt verschillende regels instellen voor verschillende bots. Dit is nuttig omdat sommige bots meer resources gebruiken dan andere.
Voorbeeld voor alle bots:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Voorbeeld voor specifieke bots:
U kunt Google, Bing en andere zoekmachines anders behandelen. Dit is echter zelden nodig en kan meer problemen veroorzaken dan het oplost.
Stap 6: Test uw robots.txt-bestand
Na het maken van wijzigingen moet u het bestand testen. Google Search Console biedt hiervoor een speciaal gereedschap.
- Ga naar Google Search Console
- Selecteer uw eigendom (website)
- Navigeer naar Crawling > robots.txt Tester
- Voer URL's in die u wilt testen
- Controleer of de regels correct werken
Het gereedschap toont aan of een bepaalde URL wordt geblokkeerd of toegestaan. Dit is essentieel om fouten op te sporen voordat ze uw zoekclassificaties beïnvloeden.
Stap 7: Monitor en onderhoud
Uw robots.txt-bestand is niet iets wat u eenmaal instelt en vergeet. U moet het regelmatig controleren en bijwerken.
- Controleer maandelijks of er nieuwe mappen zijn gemaakt die u wilt blokkeren
- Controleer in Search Console of er crawlfouten zijn opgetreden
- Bekijk de crawlstatistieken om te zien of bots efficiënt crawlen
- Update regels wanneer u nieuwe plugins of functies toevoegt
Praktische tactieken en best practices
Gebruik Yoast SEO's ingebouwde opties
Yoast SEO biedt checkboxen en instellingen waarmee u veel van dit werk kunt automatiseren, zonder handmatig code te hoeven schrijven.
- Automatische robots.txt-generatie: Zorg ervoor dat deze optie is ingeschakeld. Dit zorgt ervoor dat Yoast automatisch standaardregels toevoegt.
- Sitemap-opties: Controleer of XML-sitemaps zijn ingeschakeld en dat alle relevante inhoudstypes zijn opgenomen.
- Crawl-instellingen: Yoast kan bepaalde paginatypes automatisch uitsluiten van indexering.
robots.txt en meta-robots-tags werken op verschillende niveaus. robots.txt voorkomt dat bots pagina's openen, terwijl meta-robots-tags bots vertellen wat zij met een pagina moeten doen nadat zij deze hebben geopend.
Voorbeeld:
- robots.txt blokkeert: /private/
- Meta-robots-tag op een pagina: noindex, nofollow
Deze kunnen elkaar aanvullen, maar vermijd conflicten. Als u een pagina wilt verbergen, kiest u één methode en volgt u die consistent.
Vermijd wildcard-overmatig gebruik
Wildcards (* en $) zijn krachtig maar kunnen onbedoelde gevolgen hebben.
Problematisch:
Disallow: /*?
Dit blokkeert alle URL's met een vraagteken, wat veel pagina's kan beïnvloeden.
Beter:
Disallow: /?s=
Disallow: /?p=
Dit is specifieker en voorkomt onbedoelde blokkering.
Houd uw robots.txt-bestand leesbaar
Voeg opmerkingen toe zodat u (en anderen) begrijpen waarom bepaalde regels bestaan.
Voorbeeld:
# Blokkeer WordPress-systeemmappen
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Blokkeer zoekresultaatpagina's om duplicaat-inhoud te voorkomen
Disallow: /?s=
Sitemap voor zoekmachines
Sitemap: https://example.com/sitemap_index.xml
Veelgemaakte fouten en hoe deze te voorkomen
Fout 1: Het blokkeren van /wp-content/
Dit is een zeer voorkomende fout. /wp-content/ bevat uw afbeeldingen, CSS-bestanden en JavaScript. Als u deze map blokkeert, kunnen zoekmachines uw website niet correct weergeven, wat uw rankings schaadt.
Oplossing: Blokkeer alleen /wp-admin/ en /wp-includes/. Laat /wp-content/ altijd open.
Fout 2: Conflicterende regels tussen robots.txt en Yoast-instellingen
Soms voegt Yoast SEO automatisch regels toe, terwijl u handmatig andere regels hebt ingesteld. Dit kan tot verwarring leiden.
Oplossing: Controleer of Yoast de automatische robots.txt-generatie heeft ingeschakeld. Als dit het geval is, bewerk het bestand via Yoast in plaats van handmatig via FTP.
Fout 3: Het niet bijwerken van robots.txt na wijzigingen in de site-structuur
Wanneer u nieuwe mappen maakt of plugins installeert, vergeten veel gebruikers hun robots.txt-bestand bij te werken. Dit kan ertoe leiden dat ongewenste pagina's worden geïndexeerd.
Oplossing: Stel jezelf herinneren in om robots.txt maandelijks te controleren, vooral na grote site-updates.
Fout 4: Het blokkeren van pagina's die u wilt dat zoekmachines indexeren
Dit gebeurt vaak per ongeluk. Bijvoorbeeld, het blokkeren van /blog/ omdat u dacht dat dit /blog-admin/ was.
Oplossing: Test altijd uw robots.txt-bestand met Google Search Console voordat u het live zet. Controleer specifieke URL's die u wilt indexeren.
Fout 5: Geen sitemap-verwijzing toevoegen
Zonder sitemap-verwijzing in robots.txt moeten zoekmachines uw sitemap handmatig ontdekken. Dit vertraagt de indexering.
Oplossing: Voeg altijd minstens één sitemap-verwijzing toe. Yoast genereert automatisch een sitemap_index.xml, dus voeg dit toe: Sitemap: https://example.com/sitemap_index.xml
Fout 6: Onjuiste syntaxis gebruiken
robots.txt is gevoelig voor spellingsfouten. Een verkeerde spatie of karakter kan ervoor zorgen dat een regel niet werkt.
Veelgemaakte syntaxisfouten:
- Spaties rond de dubbele punt: "Disallow : /wp-admin/" (fout) in plaats van "Disallow: /wp-admin/" (correct)
- Gebruik van hoofdletters waar dit niet nodig is: "disallow:" werkt, maar "Disallow:" is de standaard
- Geen forward slash aan het einde van paden: "Disallow: wp-admin" blokkeert alleen bestanden met die exacte naam, niet de hele map
Oplossing: Gebruik de robots.txt-tester in Google Search Console om syntaxisfouten op te sporen.
Fout 7: Overmatig blokkeren van resources
Sommige gebruikers blokkeren veel meer dan nodig is, hopende dat dit hun site sneller maakt. Dit kan echter het tegenovergestelde effect hebben.
Probleem: Als u te veel blokkeert, kunnen zoekmachines uw site niet goed crawlen en indexeren, wat uw visibility schaadt.
Oplossing: Blokkeer alleen wat echt nodig is. De meeste websites hebben slechts een paar geblokkeerde mappen nodig.
Tabel: Standaard robots.txt-regels voor WordPress met Yoast SEO
| Regel |
Reden |
Aanbevolen |
| Disallow: /wp-admin/ |
Voorkomt indexering van het administratiepaneel |
Ja |
| Disallow: /wp-includes/ |
Blokkeert systeembestanden |
Ja |
| Disallow: /?s= |
Voorkomt indexering van zoekresultaatpagina's |
Ja |
| Disallow: /wp-content/ |
Blokkeert afbeeldingen en CSS |
Nee (schaadt rankings) |
| Sitemap: https://example.com/sitemap_index.xml |
Helpt zoekmachines uw inhoud te ontdekken |
Ja |
| Disallow: /private/ |
Blokkeert privéinhoud |
Alleen indien van toepassing |
| Disallow: /cart/ en /checkout/ |
Voorkomt indexering van e-commerce-pagina's |
Alleen voor webwinkels |
Integratie met andere Yoast-functies
robots.txt werkt samen met andere SEO-elementen in Yoast. U moet begrijpen hoe deze samenwerken:
- XML-sitemaps: Yoast genereert deze automatisch. Zorg ervoor dat u ze niet blokkeert in robots.txt.
- Breadcrumbs: Deze beïnvloeden niet rechtstreeks robots.txt, maar helpen zoekmachines uw site-structuur te begrijpen.
- Canonical-tags: Deze kunnen conflicteren met robots.txt-regels. Als u een pagina blokkeert, hoeft u geen canonical-tag in te stellen.
- Noindex-instellingen: U kunt pagina's instellen op noindex in Yoast, onafhankelijk van robots.txt.
Het beheren van robots.txt in combinatie met Yoast SEO vereist inzicht in verschillende tools en workflows. Dit gedeelte behandelt de praktische methoden om uw robots.txt correct in te stellen, te controleren en te onderhouden.
Directe bewerking via bestandsbeheerder
De meest directe manier om robots.txt aan te passen is via FTP of de bestandsbeheerder van uw hostingprovider. U kunt rechtstreeks naar de root-directory van uw website navigeren en het robots.txt-bestand openen in een teksteditor. Dit biedt volledige controle zonder tussenkomst van plugins.
Stappen voor handmatige bewerking:
- Verbind via FTP met uw server (gebruik bijvoorbeeld FileZilla of WinSCP)
- Navigeer naar de root-directory (meestal public_html of www)
- Zoek het bestand robots.txt
- Download het bestand als backup
- Open het in een teksteditor (Notepad++, VS Code of Sublime Text)
- Maak uw wijzigingen
- Upload het bestand terug naar de server
Dit handmatige proces geeft u volledige controle, maar vereist technische kennis en voorzichtigheid. Fouten kunnen direct gevolgen hebben voor uw crawlability.
WordPress-dashboardintegratie
Veel WordPress-hostingproviders en enkele plugins bieden de mogelijkheid om robots.txt rechtstreeks vanuit het WordPress-dashboard te bewerken. Dit is veiliger dan FTP omdat u geen toegang tot serverbestanden nodig hebt.
In standaard WordPress kunt u naar Instellingen > Lezen gaan en daar soms robots.txt-opties vinden, hoewel dit niet in alle installaties beschikbaar is. Yoast SEO voegt geen native robots.txt-editor toe aan het dashboard, maar werkt met bestaande robots.txt-bestanden.
Yoast SEO en robots.txt-interactie
Yoast SEO beïnvloedt robots.txt op indirecte manieren. De plugin genereert XML-sitemaps en kan instructies geven aan zoekmachines via meta-tags en andere signalen. Echter, Yoast SEO beheert niet rechtstreeks uw robots.txt-bestand in de meeste versies.
Wat Yoast SEO wel doet:
- XML-sitemaps genereren en deze in robots.txt registreren (als u deze functie activeert)
- Aanbevelingen geven voor robots.txt-configuratie
- Waarschuwingen weergeven als bepaalde pagina's geblokkeerd zijn
- Integratie met Google Search Console voor indexeringsproblemen
Google Search Console is essentieel voor het controleren van uw robots.txt. Dit platform toont u precies hoe Google uw robots.txt interpreteert en welke pagina's geblokkeerd zijn.
Stappen om robots.txt in Search Console te controleren:
- Log in op Google Search Console
- Selecteer uw property
- Ga naar Instellingen > Crawling > robots.txt-tester
- Voer URL's in die u wilt testen
- Selecteer de user-agent (Googlebot, Googlebot-Image, etc.)
- Controleer of de URL geblokkeerd of toegestaan is
Deze tester toont u exact hoe Google uw robots.txt leest en of bepaalde pagina's kunnen worden gecrawld. Dit is onmisbaar voor diagnostiek.
Robots.txt-validators en online checkers
Verschillende online tools kunnen uw robots.txt-syntaxis valideren en mogelijke fouten opsporen:
- Screaming Frog SEO Spider – Een desktopapplicatie die uw robots.txt analyseert en crawlproblemen identificeert
- Seobility robots.txt checker – Online tool voor syntaxisvalidatie
- Moz robots.txt analyzer – Controleert regels en geeft aanbevelingen
- Bing Webmaster Tools – Biedt ook robots.txt-testertools
Deze tools helpen u syntaxisfouten te vinden voordat ze live gaan. Een verkeerde regel kan onbedoeld grote delen van uw site blokkeren.
Monitoring en logging
Controleer regelmatig uw server-logs om te zien hoe zoekmachines uw robots.txt benaderen. Dit geeft inzicht in crawlgedrag en mogelijke problemen.
In uw server-logs kunt u entries zien zoals:
- Verzoeken naar /robots.txt (meestal HTTP 200 als het bestand bestaat)
- Welke user-agents het bestand opvragen
- Hoe vaak het bestand wordt gecheckt
Abnormale patronen kunnen duiden op problemen. Bijvoorbeeld, als robots.txt veel 404-fouten geeft, weet Google niet welke regels gelden.
Versiecontrole en backups
Bewaar altijd een backup van uw robots.txt-bestand. Dit is cruciaal omdat fouten ernstige gevolgen kunnen hebben.
Aanbevolen praktijken:
- Bewaar een lokale kopie van uw huidige robots.txt
- Documenteer wijzigingen met datums en redenen
- Test wijzigingen in een staging-omgeving voordat u ze live zet
- Gebruik versiebeheer (Git) als u robots.txt als onderdeel van uw codebase beheert
Workflow voor veilige wijzigingen
Een veilige workflow voor robots.txt-wijzigingen:
- Download en backup het huidige robots.txt-bestand
- Maak wijzigingen in een lokale kopie
- Valideer de syntaxis met een online tool
- Test specifieke URL's in Google Search Console robots.txt-tester
- Upload naar staging-omgeving en test daar
- Monitor server-logs gedurende 24-48 uur na wijzigingen
- Controleer Google Search Console op crawlfouten
- Pas aan indien nodig
Resultaten controleren
Na het implementeren van robots.txt-wijzigingen moet u controleren of deze werken zoals bedoeld.
Onmiddellijke controles
Direct na het uploaden van robots.txt:
- Bezoek uw-domein.nl/robots.txt in uw browser – het bestand moet zichtbaar zijn en correct weergegeven
- Controleer de syntaxis met een online validator
- Test specifieke URL's in Google Search Console
- Controleer of sitemap-verwijzingen correct zijn
Google Search Console monitoring
Controleer na enkele dagen:
- Ga naar Coverage-rapport – zijn er nieuwe fouten verschenen?
- Controleer Excluded-items – worden pagina's correct uitgesloten als bedoeld?
- Bekijk crawl-statistieken – is het crawlvolume normaal?
- Controleer de robots.txt-tester regelmatig met nieuwe URL's
Indexering en ranking monitoring
Na 1-2 weken:
- Controleer of pagina's die u wilt indexeren in Google Search Console voorkomen
- Zoek naar uw belangrijkste keywords en controleer of pagina's nog steeds ranken
- Controleer of pagina's die u wilt blokkeren niet in de zoekresultaten verschijnen
- Monitor organisch traffic in Google Analytics
Yoast SEO-waarschuwingen
Yoast SEO kan waarschuwingen weergeven als het problemen detecteert:
- Pagina's die geblokkeerd zijn door robots.txt maar wel geïndexeerd moeten worden
- Sitemap-problemen
- Canonicalization-issues in combinatie met robots.txt
Controleer het Yoast SEO-dashboard regelmatig op dergelijke waarschuwingen.
FAQ
Kan Yoast SEO mijn robots.txt automatisch beheren?
Nee, Yoast SEO beheert uw robots.txt niet automatisch. De plugin genereert wel XML-sitemaps en kan aanbevelingen geven voor robots.txt-configuratie, maar u moet het bestand zelf aanmaken en beheren. Dit geeft u volledige controle en voorkomt onbedoelde wijzigingen. U kunt robots.txt handmatig bewerken via FTP of uw hosting-dashboardeditor.
Hoe voeg ik mijn sitemap toe aan robots.txt met Yoast SEO?
Yoast SEO genereert automatisch XML-sitemaps (meestal op uw-domein.nl/sitemap_index.xml). U moet deze handmatig toevoegen aan uw robots.txt door onderaan het bestand de regel toe te voegen: "Sitemap: https://uw-domein.nl/sitemap_index.xml". Zorg ervoor dat u de juiste URL van uw sitemap gebruikt. U kunt dit bestand vinden in de Yoast SEO-instellingen onder XML-sitemaps.
Wat gebeurt er als ik robots.txt per ongeluk verwijder?
Als robots.txt niet bestaat, zullen zoekmachines aannemen dat alles mag worden gecrawld. Dit is meestal niet problematisch, maar u verliest de mogelijkheid om bepaalde pagina's te blokkeren of crawl-budget te optimaliseren. Maak het bestand opnieuw aan met de gewenste regels. Google zal dit binnen enkele dagen opmerken.
Kan ik bepaalde pagina's met Yoast SEO van indexering uitsluiten zonder robots.txt?
Ja, Yoast SEO biedt de mogelijkheid om pagina's met de meta-tag "noindex" te markeren. Dit is eigenlijk voorkeur boven robots.txt voor het voorkomen van indexering, omdat zoekmachines de pagina nog kunnen crawlen en de noindex-instructie zien. U kunt dit per pagina instellen in de Yoast SEO-metabox. Voor bulk-uitsluiting is robots.txt echter efficiënter.
Hoe test ik of mijn robots.txt correct werkt?
Gebruik de robots.txt-tester in Google Search Console. Log in, selecteer uw property, ga naar Instellingen > Crawling > robots.txt-tester, en voer URL's in die u wilt controleren. Selecteer de user-agent (meestal Googlebot) en u ziet onmiddellijk of de URL geblokkeerd of toegestaan is. Dit is de meest betrouwbare manier omdat het exact weergeeft hoe Google uw robots.txt interpreteert.
Blokkeert robots.txt mijn pagina's echt voor Google?
Robots.txt voorkomt dat zoekmachines uw pagina's crawlen, maar blokkeert niet automatisch indexering. Als een pagina ergens anders wordt genoemd, kan Google deze nog steeds indexeren zonder deze te crawlen. Voor echte blokkering van indexering gebruikt u de "noindex" meta-tag of robots.txt in combinatie met noindex. Dit is een belangrijk onderscheid: robots.txt controleert crawling, noindex controleert indexering.
Kan ik robots.txt gebruiken om bepaalde parameters uit te sluiten?
Ja, u kunt regels gebruiken zoals "Disallow: /*?*" om alle URL's met queryparameters te blokkeren, of specifiekere regels zoals "Disallow: /*?utm_" om alleen tracking-parameters uit te sluiten. Dit is nuttig voor het voorkomen dat zoekmachines dubbele inhoud crawlen veroorzaakt door URL-parameters. Echter, Google Search Console biedt ook "URL-parameters" instellingen die meer controle geven.
Hoe lang duurt het voordat robots.txt-wijzigingen effect hebben?
Google controleert robots.txt regelmatig, meestal dagelijks voor actieve websites. Wijzigingen kunnen binnen 24 uur effect hebben, maar het kan ook enkele dagen duren voordat ze volledig zijn doorgevoerd. Als u pagina's blokkeert, zullen deze niet onmiddellijk uit de zoekresultaten verdwijnen – Google moet eerst merken dat ze geblokkeerd zijn en ze vervolgens uit de index verwijderen. Dit proces kan 1-2 weken duren.
Wat is het verschil tussen Disallow en Allow in robots.txt?
Disallow vertelt zoekmachines welke pagina's ze niet mogen crawlen. Allow is het tegenovergestelde en wordt gebruikt om specifieke pagina's toe te staan binnen een geblokkeerde directory. Bijvoorbeeld, u kunt "/admin/" blokkeren maar "/admin/public/" toestaan met: "Disallow: /admin/" gevolgd door "Allow: /admin/public/". Not alle zoekmachines ondersteunen Allow, dus use het voorzichtig.
Kan ik meerdere user-agents in robots.txt hebben?
Ja, u kunt meerdere user-agent-blokken hebben met verschillende regels voor verschillende zoekmachines. Bijvoorbeeld, u kunt aparte regels hebben voor Googlebot, Bingbot en andere crawlers. Dit is nuttig als u bepaalde crawlers anders wilt behandelen. Zorg ervoor dat elke user-agent-blok duidelijk is gescheiden en dat algemene regels (User-agent: *) aan het einde staan als fallback.
