Integrationen

Ein Crawl sieht nur Ihre Website

Ein Crawler sieht nicht, wer gekommen ist, was er getippt hat oder was er danach getan hat. Vier Verbindungen ergänzen diese Hälfte des Bildes.

Cloudflare

Wer zum Lesen kam

Jeder Crawler, der Ihre Website erreicht hat, und was er zurückbekam. Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot - nach Tag und nach Statuscode.

Cloudflare im Detail
Search Console

Wonach gesucht wurde

Die Anfragen, die Menschen tatsächlich getippt haben, die Seiten, die sie beantwortet haben, und wo diese Seiten standen. Googles eigene Zahlen statt einer Schätzung davon.

Google-Daten im Detail
Analytics

Was danach passiert ist

Interaktion und Conversions je Einstiegsseite, verbunden mit den Befunden auf dieser Seite. Der Unterschied zwischen einer langsamen Seite und einer langsamen Seite, die Menschen verliert.

Google-Daten im Detail
Bing

Was der andere Index hält

Wie viele Ihrer Seiten Bing hat, und worauf sein Crawler beim Holen gestoßen ist - der Index hinter DuckDuckGo, Yahoo, Ecosia und Copilot.

Bing im Detail

Ihr Crawl-Budget, gemessen statt geraten

Jedes technische SEO-Werkzeug redet über Crawl-Budget aus Logdateien, die niemand exportiert. Cloudflare hat sie bereits, die Frage hört also auf, theoretisch zu sein: Wie oft kommt der Googlebot wirklich, und bekommt er eine Seite oder einen 404?

Auf der ersten Website, die wir verbunden haben, kam der Googlebot im Schnitt auf 86 Anfragen am Tag, während Applebot auf 3.509 kam - einundvierzigmal mehr Aufmerksamkeit von einem Crawler, der nicht darüber entscheidet, ob Sie indexiert sind.

Anfragen pro Tag, eine verbundene Zone, acht Tage
Applebot3.509
AhrefsBot2.943
Bingbot925
Googlebot86

Der Crawler, der entscheidet, ob diese Website indexiert ist, kam am seltensten.

Ob die KI-Crawler Sie überhaupt lesen können

Die Seite zur KI-Sichtbarkeit sagt Ihnen, ob ein Assistent Sie zitiert. Diese sagt Ihnen, ob sein Crawler hereinkam - und die beiden widersprechen sich öfter, als irgendjemand erwartet, weil eine vor Jahren gesetzte robots.txt-Regel immer noch durchgesetzt wird.

Auf derselben Website wurde Google-Extended in 40,6 % der Fälle abgewiesen, GPTBot in 22,6 % und PerplexityBot in 21,6 %, während der Googlebot in 2 % abgewiesen wurde. Das ist kein Ranking-Problem; das ist eine Tür.

Anteil der Anfragen, die mit einem Fehler beantwortet wurden
Google-Extended40,6 %
GPTBot22,6 %
PerplexityBot21,6 %
ClaudeBot2,8 %
Googlebot2 %

Dieselbe Website, dieselbe Woche. Der Such-Crawler kommt herein; drei der KI-Crawler weitgehend nicht.

Nur lesend, und der engste Umfang, den jeder Anbieter bietet

Cloudflare ist ein Token, das Sie selbst mit einer Berechtigung auf einer Zone erstellen. Die beiden Google-Quellen laufen über Googles eigenen Zustimmungsbildschirm, nur lesend. Jeder Zugangsschlüssel wird vor dem Speichern verschlüsselt und Ihnen nie wieder angezeigt.

Trennen nimmt die Daten mit: Die Cloudflare-Zeilen werden gelöscht, und eine widerrufene Google-Quelle entfernt, was sie gefüllt hat.

Was jede Quelle freischaltet

  • Crawler-Traffic nach Tag

    Welche Bots kamen, wie oft, und was sie bekamen - mit der Fehlerrate je Crawler, denn ankommen und abgewiesen werden ist nicht dasselbe wie lesen.

  • Anfragen und Einstiegsseiten

    Was getippt wurde, welche Seite geantwortet hat und wo sie stand. Verbunden mit den Befunden auf dieser Seite, sodass eine Korrektur ein Publikum hat.

  • Verhalten nach dem Klick

    Interaktion je Einstiegsseite neben den technischen Befunden dieser Seite - das macht aus einer Liste von Korrekturen eine Reihenfolge von Korrekturen.

  • Eine Seite je Website

    Verbindungen leben unter der Website, zu der sie gehören, nicht in einem globalen Einstellungsbildschirm - es ist also immer klar, welche Website eine Quelle speist.

Und eine, die andersherum arbeitet

Die drei oben bringen Daten herein. Diese legt das Ergebnis dorthin, wo die Arbeit passiert.

Scannen, wenn Sie deployen

Ein Deploy-Schlüssel startet einen Scan einer Website und kann nichts lesen - er liegt also in Ihren CI-Secrets, ohne den Rest Ihres Kontos mitzutragen. Ein POST nach dem Build, aus GitHub Actions, Vercel, Netlify oder allem anderen, das einen Befehl ausführt.

Ein bereits laufender Scan wird zurückgegeben statt verdoppelt, und eine Tagesgrenze begrenzt, was ein Schlüssel kosten kann, der in einen Job geklebt wurde, der bei jedem Commit läuft.

So wird er aufgerufen →

Fragen

Nein. Die Analyse, der Score und die Korrekturen funktionieren für sich. Diese ergänzen Daten, die der Crawl nicht erreichen kann - jede ist für sich nützlich, und keine ist Voraussetzung.
Nur lesend, und den engsten Umfang, den jeder Anbieter bietet. Cloudflare ist ein Token, das Sie mit einer einzigen Berechtigung erstellen - Zone · Analytics · Read - auf einer Zone. Bing ist ein lesender API-Schlüssel aus Ihrem eigenen Webmaster-Tools-Konto. Search Console und Analytics laufen über Googles eigenen Zustimmungsbildschirm, nur lesend. Jeder Zugangsschlüssel wird vor dem Speichern verschlüsselt und Ihnen nie wieder angezeigt.
Bing ist der Index hinter DuckDuckGo, Yahoo, Ecosia und Copilot und entscheidet damit über mehr als seinen eigenen Suchanteil. Außerdem meldet es, wie viele Ihrer Seiten es hält und worauf sein Crawler gestoßen ist - 4xx, 5xx, Robots-Sperren - wofür die Search Console keinen vergleichbaren Bildschirm hat.
Acht Tage im kostenlosen Cloudflare-Plan, mehr in bezahlten. Wir fragen tageweise und hören dort auf, wo Ihre Zone aufhört, Sie bekommen also, was Ihr Plan aufbewahrt, ohne etwas zu konfigurieren.
Ja, auf der Integrationsseite der Website. Cloudflare zu trennen löscht den Traffic, den wir geholt haben; eine Google-Quelle zu trennen widerruft unseren Zugriff bei Google und entfernt die Zeilen, die sie gefüllt hat.

Kostenlos starten

Eine Website und 100 Credits - bis zu 200 Seiten pro Scan, etwa 5 Scans, dazu der vollständige Bericht. Ohne Kreditkarte. Bezahlte Pläne bringen mehr Websites, größere Crawls und die KI-Textvorschläge.