Meta-Robots-Tags sind HTML-Attribute, die im Head-Bereich einer Webseite platziert werden und Suchmaschinen-Crawler anweisen, wie sie eine Seite behandeln sollen. Das Tag hat folgende grundlegende Form:
<meta name="robots" content="[Direktiven]">
Dieses einfache HTML-Element steuert kritische Aspekte der Suchmaschinen-Indexierung und -Darstellung. Es ist eines der wenigen direkten Kommunikationsmittel zwischen Website-Betreibern und Suchmaschinen-Algorithmen und bietet präzise Kontrolle über das Crawling- und Indexierungsverhalten.
Die Kernfunktion: Crawling vs. Indexierung verstehen
Viele Menschen verwechseln diese beiden Konzepte. Das Meta-Robots-Tag beeinflusst beide, aber auf unterschiedliche Weise:
- Crawling: Der Prozess, bei dem ein Suchmaschinen-Bot eine Seite besucht und ihren Inhalt liest. Das Meta-Robots-Tag kann Crawler anweisen, eine Seite nicht zu besuchen oder bestimmte Elemente zu ignorieren.
- Indexierung: Der Prozess, bei dem der Inhalt einer gecrawlten Seite in die Suchmaschinen-Datenbank aufgenommen wird. Das Meta-Robots-Tag kann verhindern, dass eine besuchte Seite in den Suchergebnissen erscheint.
Eine Seite kann gecrawlt, aber nicht indexiert werden. Sie kann auch indexiert werden, ohne dass sie aktiv gecrawlt wird (wenn die Suchmaschine bereits Informationen über sie hat). Das Meta-Robots-Tag ermöglicht diese Granularität.
Suchmaschinen-Crawler haben begrenzte Ressourcen. Websites mit Tausenden oder Millionen von Seiten können nicht alle Seiten mit gleicher Häufigkeit crawlen. Das Meta-Robots-Tag ermöglicht es Website-Betreibern, diese Ressourcen intelligent zu lenken:
- Duplikat-Inhalte von der Indexierung ausschließen, um Ranking-Probleme zu vermeiden
- Private oder administrative Seiten vor Suchmaschinen zu verbergen, ohne sie mit Passwörtern zu schützen
- Seiten mit dünnem oder minderwertigem Inhalt zu deindexieren, die das Domain-Rating beeinträchtigen könnten
- Crawler-Budget effizienter zu nutzen, indem nur wichtige Seiten gecrawlt werden
- Datenschutz und Compliance zu gewährleisten, indem sensible Seiten ausgeschlossen werden
Im Gegensatz zu robots.txt, das auf Server-Ebene funktioniert und alle Crawler betrifft, arbeitet das Meta-Robots-Tag auf Seiten-Ebene und kann für jede einzelne URL unterschiedliche Anweisungen geben.
Wenn ein Suchmaschinen-Crawler eine Webseite besucht, sucht er im HTML-Head nach dem Meta-Robots-Tag. Der Prozess verläuft wie folgt:
- Der Crawler lädt die Seite herunter und parst das HTML
- Er lokalisiert das Meta-Robots-Tag (falls vorhanden)
- Er liest die im content-Attribut angegebenen Direktiven
- Er wendet diese Direktiven auf sein Verhalten an
- Er folgt oder folgt nicht den Links auf der Seite basierend auf den Direktiven
- Er indexiert oder indexiert die Seite nicht, basierend auf den Direktiven
Dieser Prozess findet für jede einzelne Seite statt. Wenn eine Seite kein Meta-Robots-Tag hat, geht die Suchmaschine von Standard-Verhalten aus: crawlen und indexieren.
Spezifische Direktiven und ihre Auswirkungen
Das Meta-Robots-Tag akzeptiert mehrere Direktiven, die einzeln oder kombiniert verwendet werden können:
| Direktive |
Auswirkung auf Crawling |
Auswirkung auf Indexierung |
Häufiger Anwendungsfall |
| index |
Keine Auswirkung |
Erlaubt Indexierung (Standard) |
Explizite Bestätigung (selten nötig) |
| noindex |
Keine Auswirkung |
Verhindert Indexierung |
Duplikate, Test-Seiten, private Inhalte |
| follow |
Crawler folgt Links |
Keine Auswirkung |
Standard-Verhalten |
| nofollow |
Crawler folgt Links nicht |
Keine Auswirkung |
Affiliate-Links, nicht vertrauenswürdige Seiten |
| noarchive |
Keine Auswirkung |
Verhindert Caching |
Häufig aktualisierte Inhalte |
| nosnippet |
Keine Auswirkung |
Verhindert Text-Snippets in SERPs |
Vertrauliche Informationen |
| max-snippet |
Keine Auswirkung |
Begrenzt Snippet-Länge |
Kontrolle über SERP-Darstellung |
| max-image-preview |
Keine Auswirkung |
Kontrolliert Bildgröße in SERPs |
Bildschutz |
| max-video-preview |
Keine Auswirkung |
Begrenzt Video-Vorschau-Länge |
Video-Inhalte |
| noimageindex |
Keine Auswirkung |
Verhindert Bild-Indexierung |
Bildschutz |
| notranslate |
Keine Auswirkung |
Deaktiviert Übersetzungsangebot |
Mehrsprachige Seiten |
| noydir |
Keine Auswirkung |
Veraltet, wird ignoriert |
Historisch (nicht mehr relevant) |
Kombinationen von Direktiven: Praktische Beispiele
Direktiven können kombiniert werden, um komplexere Anweisungen zu erstellen. Hier sind häufige Kombinationen:
noindex, follow:
<meta name="robots" content="noindex, follow">
Diese Kombination teilt Crawlern mit: "Indexiere diese Seite nicht, folge aber den Links darauf." Dies ist nützlich für Seiten, die als Navigationshubs dienen (z.B. Filterergebnisse oder Sortierseiten), aber nicht selbst in den Suchergebnissen erscheinen sollen. Der Crawler kann die Link-Equity von dieser Seite zu anderen Seiten weitergeben, ohne dass die Seite selbst rankt.
noindex, nofollow:
<meta name="robots" content="noindex, nofollow">
Dies ist die restriktivste Kombination. Der Crawler wird die Seite nicht indexieren und wird den Links nicht folgen. Dies wird für Seiten verwendet, die vollständig aus den Suchmaschinen ausgeschlossen werden sollen, z.B. Login-Seiten, Checkout-Seiten oder temporäre Test-Seiten.
index, nofollow:
<meta name="robots" content="index, nofollow">
Die Seite wird indexiert, aber Links werden nicht verfolgt. Dies wird manchmal für Seiten verwendet, auf denen Sie möchten, dass sie ranken, aber Sie nicht möchten, dass Crawler-Ressourcen für das Verfolgen ausgehender Links aufgewendet werden.
noindex mit Snippet-Kontrolle:
<meta name="robots" content="noindex, nosnippet, max-image-preview:none">
Diese Kombination verhindert nicht nur die Indexierung, sondern auch die Anzeige von Snippets oder Bildern in den Suchergebnissen. Dies wird verwendet, wenn Sie maximale Privatsphäre benötigen.
Unterschiede zwischen ähnlichen Konzepten
Obwohl beide das Crawler-Verhalten steuern, arbeiten sie auf unterschiedlichen Ebenen:
robots.txt ist eine Datei im Root-Verzeichnis einer Website, die auf Server-Ebene funktioniert. Sie kann Crawler anweisen, ganze Verzeichnisse oder Dateitypen nicht zu crawlen. Allerdings kann robots.txt eine Seite nicht von der Indexierung ausschließen, wenn die Suchmaschine bereits über sie weiß (z.B. durch externe Links).
Meta-Robots-Tag funktioniert auf Seiten-Ebene und wird im HTML selbst platziert. Es kann Seiten von der Indexierung ausschließen, auch wenn sie in robots.txt nicht erwähnt werden. Es bietet granularere Kontrolle für einzelne Seiten.
Ein praktisches Beispiel: Wenn Sie eine Seite mit robots.txt blockieren, wird sie nicht gecrawlt, aber wenn externe Websites auf sie verlinken, kann Google sie trotzdem indexieren. Mit noindex im Meta-Robots-Tag wird die Seite definitiv nicht indexiert, selbst wenn sie gecrawlt wird.
Das X-Robots-Tag ist ein HTTP-Header, der die gleichen Direktiven wie das Meta-Robots-Tag enthält, aber im HTTP-Response-Header statt im HTML-Body gesendet wird. Dies ist nützlich für Dateitypen, die kein HTML sind (PDF, Bilder, Videos).
Beispiel für einen X-Robots-Tag HTTP-Header:
X-Robots-Tag: noindex, nofollow
Wenn sowohl ein Meta-Robots-Tag als auch ein X-Robots-Tag vorhanden sind, wird das restriktivere angewendet.
User-Agent-spezifische Direktiven
Das Meta-Robots-Tag kann auch für bestimmte Suchmaschinen-Crawler spezifisch sein:
<meta name="googlebot" content="noindex">
Dieses Tag würde nur Googles Crawler betreffen, nicht andere Suchmaschinen. Dies ist nützlich, wenn Sie unterschiedliche Anweisungen für verschiedene Suchmaschinen haben möchten, obwohl dies in der Praxis selten vorkommt.
Häufige Fehler und Missverständnisse
Fehler 1: Annahme, dass nofollow das Crawling blockiert
nofollow bedeutet nicht, dass der Crawler die Seite nicht besucht. Es bedeutet nur, dass der Crawler den Links auf der Seite nicht folgt. Die Seite wird immer noch gecrawlt, wenn sie über andere Mittel erreichbar ist.
Fehler 2: Verwendung von noindex für Passwort-geschützte Seiten
Wenn eine Seite durch ein Passwort geschützt ist, kann der Crawler sie nicht crawlen und daher nicht indexieren. Das Meta-Robots-Tag ist in diesem Fall redundant. Allerdings kann es als zusätzliche Sicherheitsebene verwendet werden.
Fehler 3: Annahme, dass noindex sofort wirkt
Es kann Tage oder Wochen dauern, bis Google eine Seite mit noindex aus den Suchergebnissen entfernt. Der Crawler muss die Seite zunächst besuchen, das noindex-Tag lesen und dann die Seite aus dem Index entfernen. Dies ist kein sofortiger Prozess.
Fehler 4: Kombination von widersprechenden Direktiven
<meta name="robots" content="index, noindex">
Dies ist logisch widersprüchlich. Suchmaschinen werden in solchen Fällen das restriktivere Verhalten anwenden (noindex).
Die erfolgreiche Nutzung von Meta-Robots-Tags erfordert eine durchdachte Strategie, die über das bloße Einfügen von Code hinausgeht. Sie müssen zunächst Ihre Crawling- und Indexierungsziele klar definieren, dann die richtige Syntax wählen und schließlich die Implementierung systematisch überprüfen.
Schritt 1: Bestandsaufnahme und Zielbestimmung
Bevor Sie ein einziges Meta-Robots-Tag implementieren, müssen Sie verstehen, welche Seiten indexiert werden sollen und welche nicht. Dies beginnt mit einer ehrlichen Analyse Ihrer Website-Struktur.
Erstellen Sie zunächst ein Inventar Ihrer Seiten nach Kategorien:
- Öffentliche Inhalte, die Suchmaschinen finden sollen (Blog-Artikel, Produktseiten, Landingpages)
- Interne Seiten ohne SEO-Wert (Danke-Seiten nach Formularabsendung, Bestätigungsseiten, Fehlerseiten)
- Inhalte mit Zugriffsbeschränkungen (Benutzerprofile, Kontodashboards, Admin-Bereiche)
- Duplizierte oder ähnliche Inhalte (Filterseiten, Sortierungsvarianten, druckfreundliche Versionen)
- Zeitlich begrenzte Inhalte (Veranstaltungen, Angebote, Archivmaterial)
Dokumentieren Sie für jede Kategorie, warum bestimmte Seiten nicht indexiert werden sollten. Dies hilft später, wenn Sie Ihre Entscheidungen überprüfen oder erklären müssen.
Schritt 2: Auswahl der richtigen Direktiven
Die Wahl der korrekten Direktiven ist entscheidend. Es reicht nicht aus, einfach „noindex" zu verwenden – Sie müssen verstehen, welche Kombination Ihrer Absicht entspricht.
| Szenario |
Empfohlenes Tag |
Begründung |
| Seite sollte nicht in Suchmaschinen erscheinen, aber intern verlinkt sein darf |
noindex, follow |
Crawler folgen Links, indexieren die Seite aber nicht. Nützlich für Danke-Seiten oder interne Ressourcen. |
| Seite sollte nicht gecrawlt werden und keine ausgehenden Links folgen |
noindex, nofollow |
Maximale Einschränkung. Sinnvoll für sensible Bereiche oder Seiten mit vielen Spam-Links. |
| Seite sollte gecrawlt werden, aber nicht indexiert |
index, nofollow |
Selten verwendet. Relevant für Seiten, deren Struktur wichtig ist, deren Inhalt aber nicht ranken soll. |
| Seite sollte normal indexiert und gecrawlt werden |
Kein Tag oder index, follow |
Standard-Verhalten. Explizite Tags sind unnötig, aber gelegentlich zur Dokumentation hilfreich. |
| Mehrere ähnliche Seiten, eine ist die Hauptversion |
noindex, follow auf Duplikaten + canonical Link |
Kombiniert Meta-Robots mit Canonical-Tag für optimale Signalisierung. |
Beachten Sie, dass Google die Direktiven „index" und „follow" als Standard-Verhalten behandelt. Sie müssen diese nur explizit angeben, wenn Sie Ihre Absicht dokumentieren möchten oder wenn Sie automatisierte Systeme nutzen, die auf diese Werte prüfen.
Schritt 3: Implementierung im HTML-Code
Die korrekte Platzierung des Meta-Robots-Tags ist essentiell. Das Tag muss sich im <head>-Bereich des HTML-Dokuments befinden, nicht im Body.
Für eine einzelne Seite, die nicht indexiert werden soll:
<meta name="robots" content="noindex, follow">
Für spezifische Suchmaschinen können Sie separate Tags verwenden:
<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="noindex, follow">
Dies ermöglicht es Ihnen, unterschiedliche Richtlinien für verschiedene Suchmaschinen festzulegen, obwohl dies in der Praxis selten notwendig ist.
Wenn Sie ein Content-Management-System verwenden, suchen Sie nach einem SEO-Plugin oder einer nativen Einstellung, um diese Tags zu verwalten, statt HTML manuell zu bearbeiten. Dies reduziert Fehler und ermöglicht Massenänderungen.
Schritt 4: Kombination mit anderen SEO-Signalen
Meta-Robots-Tags funktionieren nicht isoliert. Sie sollten sie mit anderen Mechanismen koordinieren:
Mit robots.txt kombinieren: Verwenden Sie robots.txt für breite Crawl-Richtlinien (ganze Verzeichnisse blockieren), und Meta-Robots-Tags für spezifische Seiten. Dies ist effizienter als robots.txt-Einträge für Hunderte einzelner Seiten.
Mit Canonical-Tags arbeiten: Wenn Sie Duplikate haben, setzen Sie auf der Duplikat-Seite noindex, follow und verwenden Sie ein Canonical-Tag, das auf die bevorzugte Version verweist. Dies signalisiert Suchmaschinen klar, welche Version sie indexieren sollen.
Mit HTTP-Header-Direktiven: Sie können X-Robots-Tag-Header verwenden, um Seiten zu kontrollieren, deren HTML Sie nicht ändern können (z.B. PDF-Dateien). Dies ist besonders nützlich auf Hosting-Plattformen mit eingeschränktem Zugriff.
Mit Zugriffsschutz kombinieren: Verwenden Sie noindex nicht als Sicherheitsmechanismus. Wenn eine Seite wirklich privat sein soll, schützen Sie sie mit Passwörtern oder IP-Beschränkungen. Noindex ist nur für Suchmaschinen sichtbar, nicht für andere Benutzer.
Schritt 5: Überprüfung und Validierung
Nach der Implementierung müssen Sie überprüfen, dass Ihre Tags korrekt funktionieren.
Manuelle Überprüfung: Öffnen Sie eine Seite in Ihrem Browser, klicken Sie mit der rechten Maustaste und wählen Sie „Seitenquelltext anzeigen" (oder drücken Sie Strg+U). Suchen Sie nach dem Meta-Robots-Tag im Head-Bereich. Überprüfen Sie die Syntax auf Tippfehler oder fehlende Kommas.
Google Search Console nutzen: Die Search Console zeigt an, welche Seiten indexiert sind und welche nicht. Gehen Sie zu „Seiten" und filtern Sie nach Indexierungsstatus. Wenn Seiten mit noindex-Tags immer noch als indexiert angezeigt werden, kann dies auf ein Timing-Problem hindeuten – Google braucht Zeit, um die Änderung zu verarbeiten.
Crawl-Tests durchführen: Nutzen Sie das Tool „URL-Überprüfung" in der Search Console, um eine einzelne Seite zu crawlen und zu sehen, wie Google sie sieht. Dies zeigt auch, ob Meta-Robots-Tags erkannt wurden.
Automatisierte Überprüfung: Verwenden Sie Crawl-Tools wie Screaming Frog oder DeepCrawl, um Ihre gesamte Website zu scannen und zu überprüfen, dass Meta-Robots-Tags konsistent angewendet wurden. Diese Tools können auch Inkonsistenzen aufdecken, z.B. wenn eine Seite sowohl noindex als auch canonical-Tag hat.
Häufige Fehler und wie man sie vermeidet
Fehler 1: Noindex auf Seiten mit hohem Traffic-Potenzial
Ein klassischer Fehler ist, versehentlich noindex auf Seiten zu setzen, die eigentlich ranken sollten. Dies geschieht oft, wenn:
- Ein SEO-Plugin mit Standardeinstellungen verwendet wird, die zu restriktiv sind
- Eine Staging-Website in die Live-Umgebung kopiert wird, ohne die Meta-Robots-Tags zu entfernen
- Kategorieseiten oder Tag-Seiten automatisch mit noindex versehen werden, obwohl sie wertvoll sind
Vermeiden Sie dies, indem Sie vor jeder Implementierung klar dokumentieren, welche Seiten indexiert werden sollen. Überprüfen Sie regelmäßig die Search Console auf unerwartet nicht indexierte Seiten.
Fehler 2: Widersprüchliche Signale
Ein häufiger Fehler ist, widersprüchliche Richtlinien zu setzen. Zum Beispiel:
- Ein Meta-Robots-Tag sagt „noindex", aber robots.txt erlaubt das Crawlen
- Eine Seite hat noindex, aber Sie bauen viele interne Links darauf auf
- Ein Canonical-Tag verweist auf eine andere Seite, aber das Meta-Robots-Tag sagt „index"
Google versucht, diese Signale zu interpretieren, aber es führt zu Verwirrung. Halten Sie Ihre Signale konsistent: Wenn eine Seite nicht indexiert werden soll, brauchen Sie nicht viele Links darauf zu bauen. Wenn Sie ein Canonical-Tag verwenden, sollte die Duplikat-Seite noindex haben.
Fehler 3: Falsche Syntax
Kleine Fehler in der Syntax können dazu führen, dass Tags ignoriert werden:
<meta name="robot" content="noindex"> statt robots (Singular statt Plural)<meta name="robots" content="no-index"> statt noindex (Bindestrich statt kein Bindestrich)- Fehlende Kommas zwischen mehreren Direktiven:
noindex nofollow statt noindex, follow
- Leerzeichen oder Großbuchstaben:
No Index statt noindex
Verwenden Sie einen HTML-Validator, um Ihre Syntax zu überprüfen. Viele CMS bieten auch Validierung an.
Fehler 4: Noindex als Sicherheitsmaßnahme
Das ist einer der gefährlichsten Fehler. Noindex schützt eine Seite nicht vor Suchmaschinen – es teilt ihnen nur mit, sie nicht zu indexieren. Ein Hacker kann die Seite immer noch sehen, wenn er die URL kennt. Ebenso können andere Benutzer die Seite finden, wenn sie direkt auf sie verlinkt wird.
Für sensible Inhalte verwenden Sie:
- HTTP-Authentifizierung (Benutzername und Passwort)
- IP-Whitelisting
- SSL/TLS-Verschlüsselung
- Zugriffskontrollisten (ACLs)
Noindex ist nur für Suchmaschinen, nicht für Sicherheit.
Fehler 5: Zu aggressive Noindex-Strategien
Manche Website-Betreiber setzen noindex auf zu vielen Seiten, in der Hoffnung, ihre Website zu „bereinigen". Dies kann nach hinten losgehen:
- Wenn Sie 80% Ihrer Seiten mit noindex versehen, signalisieren Sie Google, dass Ihre Website wenig wertvollen Inhalt hat
- Noindex auf Kategorieseiten kann dazu führen, dass Ihre Produkte oder Artikel nicht gut ranken, da die Kategorieseite keine Autorität aufbaut
- Noindex auf Archiv-Seiten kann bedeuten, dass ältere, aber immer noch relevante Inhalte nicht gefunden werden
Verwenden Sie noindex selektiv und nur dann, wenn es wirklich notwendig ist. Fragen Sie sich: „Würde ein Benutzer diese Seite in den Suchergebnissen sehen wollen?" Wenn die Antwort ja ist, sollte die Seite indexiert werden.
Fehler 6: Unzureichende Überwachung nach der Implementierung
Viele Websites implementieren Meta-Robots-Tags und überprüfen dann nie wieder, ob sie funktionieren. Dies führt zu:
- Seiten, die versehentlich noindex haben und nicht ranken
- Seiten, deren noindex-Tag entfernt wurde, aber Google sie immer noch nicht indexiert (weil die Änderung nicht neu gecrawlt wurde)
- Technische Fehler, die dazu führen, dass Tags nicht mehr vorhanden sind
Richten Sie monatliche Überprüfungen ein. Nutzen Sie die Search Console, um zu sehen, welche Seiten indexiert sind. Verwenden Sie Crawl-Tools, um zu überprüfen, dass Tags korrekt gesetzt sind.
Strategische Überlegungen für verschiedene Website-Typen
E-Commerce-Websites
Bei E-Commerce-Seiten sollten Sie Meta-Robots-Tags strategisch einsetzen:
- Produktseiten: Immer indexieren. Dies sind Ihre Geldseiten.
- Kategorieseiten: Indexieren, aber verwenden Sie canonical-Tags, um Duplikate zu handhaben (z.B. verschiedene Sortierungen).
- Filter- und Facetenseiten: Verwenden Sie noindex, follow. Diese Seiten haben keinen eigenständigen Wert und können die Indexierungsquote aufblähen.
- Warenkorbseiten: Noindex, nofollow. Diese sollten niemals in Suchergebnissen erscheinen.
- Checkout-Seiten: Noindex, nofollow. Sicherheits- und Datenschutzgründe.
- Benutzerkonten: Noindex, nofollow. Persönliche Daten sollten nicht indexiert werden.
Blog- und Content-Websites
Für Blogs und Content-Seiten ist die Strategie anders:
- Blog-Artikel: Alle indexieren, auch ältere. Ältere Inhalte können immer noch wertvoll sein.
- Kategorieseiten: Indexieren. Diese helfen, Ihre Inhalte zu organisieren und zu ranken.
- Tag-Seiten: Hier können Sie flexibel sein. Wenn Sie viele Tags haben, können Sie noindex verwenden, um Duplikate zu reduzieren. Wenn Sie nur wenige haben, indexieren Sie sie.
- Suchergebnis-Seiten: Noindex, follow. Diese sind dynamisch und haben keinen dauerhaften Wert.
- Archiv-Seiten: Indexieren oder noindex, je nachdem, wie alt der Inhalt ist und ob Benutzer ihn finden sollen.
Corporate/Unternehmenswebsites
Für Unternehmenswebsites liegt der Fokus auf Vertrauenswürdigkeit und Professionalität:
- Hauptseiten (About, Services, Kontakt): Alle indexieren.
- News/Blog: Indexieren, um Aktualität zu signalisieren.
- Interne Richtlinien, Formulare: Noindex, follow, um Crawler zu lenken, aber keine Duplikate zu schaffen.
- Druckfreundliche Versionen: Noindex, follow oder canonical-Tag auf die Standard-Version.
- Sitemap-Seiten, Datenschutz (wenn separat): Indexieren, da diese rechtlich wichtig sind.
Für große Websites ist manuelle Implementierung nicht praktikabel. Hier sind skalierbare Ansätze:
Regelbasierte Automatisierung
Viele CMS ermöglichen es, Regeln basierend auf Seiten-Attributen zu setzen. Zum Beispiel:
- Alle Seiten in der Kategorie „Archiv" automatisch mit no
Die theoretische Kenntnis von Meta Robots Tags ist nur der erste Schritt. Die praktische Umsetzung erfordert konkrete Werkzeuge und Workflows, um sicherzustellen, dass die Tags korrekt implementiert sind und von Suchmaschinen erkannt werden.
Manuelle Überprüfung im HTML-Quellcode
Die einfachste Methode zur Überprüfung ist das direkte Ansehen des Seiten-Quellcodes. Öffnen Sie eine beliebige Webseite im Browser und drücken Sie Strg+U (Windows) oder Cmd+U (Mac), um den Quellcode anzuzeigen. Suchen Sie im Head-Bereich nach dem Tag <meta name="robots">. Achten Sie darauf, dass das Tag sich zwischen den öffnenden und schließenden <head>-Tags befindet. Ein falsch platziertes Tag im Body-Bereich wird von Suchmaschinen ignoriert.
Bei dieser manuellen Überprüfung sollten Sie auch auf die genaue Syntax achten. Das Attribut muss exakt name="robots" sein (nicht "robot" oder andere Varianten). Der Content-Wert muss aus einer kommatrennten Liste bestehen, ohne Leerzeichen zwischen den Werten (beispielsweise noindex,nofollow statt noindex, nofollow).
Google Search Console zur Validierung
Die Google Search Console bietet mehrere Funktionen zur Überprüfung von Meta Robots Tags. Im Bereich "URL-Überprüfung" können Sie eine spezifische URL eingeben und Google zeigt an, wie die Seite gecrawlt und indexiert wird. Unter dem Reiter "Abdeckung" sehen Sie, welche Seiten indexiert sind und welche durch Robots-Direktiven blockiert werden.
Besonders hilfreich ist die Funktion "Crawl-Statistiken", die zeigt, wie viele Anfragen Google an Ihre Website stellt. Wenn Sie ein restriktives Robots-Tag implementieren, sollten sich diese Zahlen entsprechend ändern. Die Search Console zeigt auch an, wenn Seiten durch Meta Robots Tags vom Crawling ausgeschlossen werden.
Bing bietet ähnliche Funktionen wie Google Search Console. Unter "Crawl-Einstellungen" können Sie Crawl-Rate und Crawl-Verhalten konfigurieren. Die "Seiten-Informationen" zeigen, wie Bing einzelne Seiten sieht und ob Meta Robots Tags erkannt werden. Obwohl Bing einen kleineren Marktanteil hat, ist es wichtig zu überprüfen, dass Ihre Tags auch dort funktionieren.
Mehrere Browser-Erweiterungen ermöglichen schnelle Überprüfungen von Meta Robots Tags ohne Quellcode-Ansicht. Diese Tools zeigen den Robots-Tag-Inhalt direkt in einer benutzerfreundlichen Oberfläche an. Einige beliebte Optionen sind:
- SEO-Quake (verfügbar für Chrome und Firefox) – zeigt Meta-Informationen auf jeder Seite an
- MozBar (Chrome) – bietet SEO-Metriken und Meta-Tag-Überblick
- Screaming Frog SEO Spider – Desktop-Anwendung zum Crawlen ganzer Websites und Überprüfung aller Meta Robots Tags
- Semrush Site Audit – identifiziert Seiten mit problematischen oder fehlenden Robots-Tags
- Ahrefs Site Audit – ähnliche Funktionalität mit detaillierten Berichten
Diese Tools sind besonders wertvoll, wenn Sie eine Website mit Hunderten oder Tausenden von Seiten verwalten. Sie können automatisch alle Seiten crawlen und Berichte erstellen, welche Seiten welche Robots-Tags haben.
Screening großer Websites mit Screaming Frog
Screaming Frog ist ein spezialisiertes Crawl-Tool, das besonders für große Websites geeignet ist. Nach dem Crawlen können Sie einen Report exportieren, der alle Meta Robots Tags auflistet. Sie können Filter setzen, um beispielsweise alle Seiten mit "noindex" zu finden oder Seiten zu identifizieren, die kein Robots-Tag haben.
Das Tool zeigt auch an, wenn Tags doppelt vorhanden sind oder widersprüchliche Direktiven enthalten. Es kann auch X-Robots-Tag-Header überprüfen und mit Meta-Tags vergleichen, um Konflikte zu identifizieren.
Robots.txt-Tester in der Google Search Console
Obwohl dies nicht direkt Meta Robots Tags betrifft, ist der Robots.txt-Tester wichtig für das Verständnis des gesamten Crawl-Kontrollsystems. Dieses Tool zeigt, ob URLs durch die robots.txt-Datei blockiert werden. Wenn Sie sowohl robots.txt als auch Meta Robots Tags verwenden, müssen Sie sicherstellen, dass sie nicht in Konflikt geraten.
Manuelle Überprüfung mit cURL oder Wget
Für technisch versierte Nutzer ist es möglich, Meta Robots Tags über Kommandozeilen-Tools zu überprüfen. Mit cURL können Sie den vollständigen HTML-Response abrufen und dann nach dem Robots-Tag suchen:
curl -I https://beispiel.de zeigt die Header (einschließlich X-Robots-Tag), während curl https://beispiel.de den vollständigen HTML-Body anzeigt, in dem Sie nach Meta-Tags suchen können.
Automatisierte Monitoring-Workflows
Größere Websites sollten automatisierte Workflows implementieren, um Meta Robots Tags zu überwachen. Dies kann durch regelmäßige Crawls mit Screaming Frog, API-Abfragen an die Google Search Console oder benutzerdefinierte Skripte erreicht werden. Einige Unternehmen implementieren Checks in ihren CI/CD-Pipeline, um sicherzustellen, dass Robots-Tags nicht versehentlich entfernt oder verändert werden.
Ein typischer Workflow könnte aussehen: Täglich wird ein Crawl durchgeführt, die Ergebnisse werden mit der vorherigen Version verglichen, und wenn unerwartete Änderungen erkannt werden, wird ein Alert gesendet.
Testing von Robots-Tag-Änderungen
Bevor Sie Robots-Tags auf der gesamten Website implementieren, sollten Sie auf einer Testseite oder in einer Staging-Umgebung überprüfen, dass alles funktioniert. Implementieren Sie das Tag, warten Sie einige Stunden, und überprüfen Sie dann mit der Google Search Console URL-Überprüfung, ob Google das Tag erkannt hat.
Beachten Sie, dass es einige Zeit dauert, bis Änderungen vollständig wirksam werden. Google kann gecachte Versionen von Seiten haben, und es braucht mehrere Crawl-Zyklen, bis Änderungen vollständig verarbeitet sind.
FAQ
Ja, beide können zusammen verwendet werden, aber Sie müssen verstehen, wie sie interagieren. Die robots.txt-Datei wird zuerst überprüft – wenn eine URL dort blockiert ist, crawlt Google sie nicht und sieht das Meta Robots Tag nicht. Das bedeutet, dass Sie Meta Robots Tags nicht verwenden können, um eine in robots.txt blockierte Seite zu indexieren. Verwenden Sie robots.txt, um Ressourcen zu sparen und zu verhindern, dass Seiten gecrawlt werden, und Meta Robots Tags, um zu kontrollieren, was mit gecrawlten Seiten geschieht.
Was passiert, wenn ich "noindex" und "follow" zusammen verwende?
Diese Kombination ist vollkommen gültig und hat einen spezifischen Zweck. Die Seite wird nicht indexiert, aber Google folgt den Links auf dieser Seite und crawlt die verlinkten Seiten. Dies ist nützlich für Seiten wie Filterseiten in E-Commerce-Websites oder Archivseiten, auf denen Sie möchten, dass Google die Zielseiten findet, aber die Filterseite selbst nicht in den Suchergebnissen erscheint.
Wie lange dauert es, bis Google ein "noindex"-Tag erkennt?
Google erkennt das Tag normalerweise beim nächsten Crawl der Seite. Das kann jedoch zwischen Minuten und mehreren Wochen dauern, abhängig von der Crawl-Häufigkeit. Häufig besuchte Seiten werden schneller gecrawlt, während selten besuchte Seiten länger brauchen können. Sie können die URL-Überprüfung in der Google Search Console verwenden, um zu sehen, wann Google die Änderung erkannt hat. Beachten Sie, dass die Seite möglicherweise noch einige Zeit in den Suchergebnissen sichtbar bleibt, nachdem Sie das Tag hinzugefügt haben, bis Google den Index aktualisiert.
Ja, aber mit Einschränkungen. Google kann JavaScript rendern und sieht Meta Robots Tags in JavaScript-gerenderten Inhalten. Allerdings gibt es eine Verzögerung – Google muss erst die Seite rendern, bevor es das Tag sieht. Dies kann zu Verzögerungen bei der Verarbeitung führen. Für kritische Seiten ist es besser, Meta Robots Tags im serverseitigen HTML zu haben, nicht in JavaScript-gerenderten Tags. Testen Sie immer mit der URL-Überprüfung, um zu bestätigen, dass Google das Tag sieht.
Das Meta Robots Tag "nofollow" gilt für alle Links auf der Seite – Google folgt keinem einzigen Link. Das rel="nofollow"-Attribut auf einzelnen Links gilt nur für diesen spezifischen Link. Wenn Sie möchten, dass Google den meisten Links folgt, aber nicht einem bestimmten, verwenden Sie rel="nofollow" auf diesem Link. Wenn Sie möchten, dass Google keinem Link auf der Seite folgt, verwenden Sie das Meta Robots Tag mit "nofollow".
Ja, dafür verwenden Sie das name-Attribut mit dem spezifischen Suchmaschinen-Namen. Beispielsweise können Sie sowohl <meta name="robots"> (für alle Suchmaschinen) als auch <meta name="googlebot"> (nur für Google) verwenden. Wenn beide vorhanden sind, wird das spezifischere Tag (googlebot) für Google verwendet. Dies ist nützlich, wenn Sie unterschiedliche Richtlinien für verschiedene Suchmaschinen haben möchten, obwohl dies selten notwendig ist.
Was bedeutet "unavailable_after" und wie wird es verwendet?
Das "unavailable_after"-Direktiv teilt Google mit, dass eine Seite nach einem bestimmten Datum und einer bestimmten Zeit nicht mehr verfügbar ist. Das Format ist ISO 8601: <meta name="robots" content="unavailable_after: 2025-12-31T23:59:00Z">. Nach diesem Zeitpunkt wird Google die Seite aus dem Index entfernen. Dies ist nützlich für zeitlich begrenzte Inhalte wie Veranstaltungen oder befristete Angebote. Google wird die Seite nicht crawlen, nachdem dieser Zeitpunkt erreicht ist.
Überprüfen Sie zunächst die Google Search Console auf Fehler oder Warnungen. Gehen Sie zur URL-Überprüfung und geben Sie eine betroffene URL ein. Google zeigt an, wie die Seite gecrawlt wurde und ob das Robots-Tag erkannt wurde. Überprüfen Sie auch den Quellcode, um sicherzustellen, dass das Tag syntaktisch korrekt ist. Verwenden Sie ein Validierungstool wie den W3C-HTML-Validator, um sicherzustellen, dass das HTML gültig ist. Wenn Sie kürzlich Änderungen vorgenommen haben, können Sie zu einer früheren Version zurückkehren und testen, ob das Problem behoben wird.
Nein, Meta Robots Tags sind nicht für den Schutz vor Scraping konzipiert. Sie sind Richtlinien für Suchmaschinen-Crawler. Bösartige Bots und Scraper ignorieren diese Tags vollständig. Zum Schutz vor Scraping müssen Sie andere Methoden verwenden: IP-Blocking, Rate-Limiting, CAPTCHA-Herausforderungen, Robots.txt mit Crawl-Delays oder technische Maßnahmen wie WAF-Regeln. Meta Robots Tags helfen nur, legitime Suchmaschinen-Crawler zu kontrollieren.
Sollte ich "noindex" oder "nofollow" auf 404-Fehlerseiten verwenden?
Technisch gesehen ist es nicht notwendig, da 404-Seiten normalerweise nicht indexiert werden sollten. Google behandelt 404-Responses standardmäßig korrekt. Allerdings schadet es nicht, <meta name="robots" content="noindex"> auf 404-Seiten hinzuzufügen, um explizit zu machen, dass diese Seiten nicht indexiert werden sollen. Dies ist besonders hilfreich, wenn Sie eine Custom-404-Seite haben, die ähnlich wie eine normale Seite aussieht. Stellen Sie sicher, dass Sie den korrekten HTTP-Status-Code 404 zurückgeben – das ist wichtiger als das Meta Robots Tag.