Der Crawler

Was unser Crawler auf Ihrer Website tut

Wie viele Anfragen, wie schnell, was abgerufen wird, wann ein Browser startet und wie Sie ihn aussperren - für die Person, die den Zugang genehmigen muss.

Geschrieben für die Person, die den Zugang eines Crawlers zu einer Website genehmigen muss - und das ist meistens nicht die Person, die sich angemeldet hat.

Wie er sich zu erkennen gibt

Er sendet einen User-Agent, der SeodarBot nennt, und eine URL, die erklärt, was er ist. Er tarnt sich nicht als Browser und wechselt seine Identität nicht - wenn Sie sehen wollen, was er getan hat, steht es unter einem einzigen Namen in Ihrem Zugriffsprotokoll.

Woran er sich hält

• robots.txt, einschließlich Crawl-delay. Ein von Ihnen gesperrter Pfad wird nicht abgerufen, und der Bericht sagt, dass die Seiten blockiert waren, statt so zu tun, als gäbe es sie nicht.
• noindex. Er liest die Seite trotzdem - nur so weiß er es - meldet sie aber als ausgeschlossen, statt sie wie eine normale zu bewerten.
• Ihr Seitenlimit. Der Crawl endet bei der Zahl, die Sie gesetzt haben, und der Bericht nennt, wie viele Seiten er erreicht hat.

Wie stark er zuschlägt

Es sind wenige Anfragen parallel, keine Flut, und Crawl-delay bremst ihn weiter, wo Sie eines setzen. Ein Crawl von einigen hundert Seiten dauert Minuten statt Stunden - an einer echten Website gemessen: 200 Seiten in etwa 100 Sekunden, von Anfang bis Ende, inklusive der Prüfungen.

Wenn das immer noch mehr ist, als Sie möchten: Das Seitenlimit setzen Sie selbst, und geplante Crawls lassen sich vollständig abschalten.

Wann er einen Browser startet

Die meisten Seiten werden als HTML gelesen - das ist, was eine Suchmaschine zuerst liest, und es ist für Ihren Server deutlich günstiger. Ein Browser startet nur dort, wo das HTML allein nicht reicht, um die Seite zu beurteilen. Und wenn das passiert, wird es berichtet: Eine Seite, die JavaScript braucht, um überhaupt etwas zu sagen, ist selbst ein Befund.

Was er nicht tut

• Er füllt keine Formulare aus, folgt keinen Links, die etwas verändern, und ruft nichts hinter einem Login ab.
• Er speichert Ihre Seiteninhalte nicht über das hinaus, was eine Prüfung braucht; der Bericht enthält Befunde und Seiten-Metadaten, keine Kopien Ihrer Seiten.
• Er folgt keinen Links weg von Ihrem Host. Ein Crawl einer Website bleibt auf dieser Website.

Wie Sie ihn aussperren

Genauso wie jeden anderen Crawler - mit einer robots.txt-Regel für SeodarBot. Es gibt keinen eigenen Mechanismus und keine Möglichkeit für Kontoinhaber, sie zu übergehen: Wenn Ihre robots.txt nein sagt, ist die Antwort nein, und ihr Bericht sagt ihnen genau das.

Zuletzt geändert am 2026-08-10. Jede Prüfung, auf die sich dieser Text bezieht, steht auf der Seite mit den Prüfungen.