Robots.txt Tester
Fügen Sie eine beliebige URL ein. Wir holen die robots.txt dieser Website, lesen sie so wie ein Crawler und sagen Ihnen, ob die URL erlaubt ist - für den Googlebot, für unseren eigenen Bot und für alle anderen.
Kostenlos, ohne Konto, ohne Kreditkarte. Eine URL auf einmal.
Was geprüft wird
- Die Datei selbst
- Ob sie existiert, mit 200 antwortet und wie viele Regeln sie enthält. Eine robots.txt mit 5xx wird als „alles blockieren“ gelesen, bis sie sich erholt.
- Ihre URL, dreifach
- Ob der angegebene Pfad für den Googlebot, für SeodarBot und für den Platzhalter-Agenten erlaubt ist, auf den jeder andere Crawler zurückfällt.
- Der Fehler über die ganze Website
- Disallow: / unter User-agent: * - die Staging-Regel, die in die Produktion gerät und eine komplette Website aus der Suche nimmt.
- Sitemap-Angaben
- Ob die Datei Crawlern sagt, wo die Sitemap liegt - die eine Zeile, die ihnen das Raten erspart.
Warum es zählt
robots.txt steuert das Crawling, nicht die Indexierung, und genau in diesem Unterschied entsteht der meiste Schaden. Eine blockierte URL kann trotzdem in den Ergebnissen auftauchen - Google erfährt über Links, dass es sie gibt - aber sie erscheint ohne Beschreibung, weil nie etwas gelesen wurde.
Dieselbe Regel macht ein noindex wirkungslos: Ein Crawler, der die Seite nicht abrufen darf, liest nie das Tag, das ihn draußen halten soll. Wenn eine Seite aus der Suche verschwinden soll, muss sie crawlbar sein und noindex tragen - oder sauber entfernt werden.
Die nützliche Frage lautet deshalb nie „was steht in meiner robots.txt“. Sie lautet „ist diese eine URL erlaubt“, und das beantwortet dieses Werkzeug.
Fragen
- Schadet eine fehlende robots.txt?
- Nein. Ein 404 bedeutet, dass alles erlaubt ist - eine gültige und auf kleinen Websites die häufigste Konfiguration. Zu beheben ist der 500er: Crawler behandeln einen Serverfehler als vorübergehende Sperre für die gesamte Website.
- Warum Googlebot und Ihren Bot getrennt prüfen?
- Weil Regeln pro User-Agent gelten. Eine Datei, die den Platzhalter erlaubt, kann trotzdem einen bestimmten Crawler benennen und aussperren. Websites blockieren oft alles außer einer kurzen Liste, ohne es zu beabsichtigen.
- Prüft das, ob die Seite indexiert ist?
- Nein - es prüft, ob sie gecrawlt werden darf. Die Indexierung hängt am Meta-Robots-Tag, am Canonical und an Googles eigener Einschätzung. Eine vollständige Analyse prüft alles zusammen.
Eine URL ist eine Stichprobe
Die vollständige Analyse deckt Erreichbarkeit der robots.txt, blockierte aber verlinkte URLs und blockierte Seiten, die trotzdem Traffic bekommen ab - über jede Seite, die sie crawlt, mit einem Score und einer sortierten Liste dessen, was zuerst zu beheben ist.