168 Tage AI-Crawler-Logs: Was übrig bleibt, wenn du den Müll rausrechnest

Serverlogs sind gerade die Lieblingsquelle der AI-Search-Szene, und das aus gutem Grund. Search Console und Monitoring-Tools zeigen dir Ergebnisse. Das Log zeigt dir den Vorgang. Wenn ein Crawler eine 403 bekommt, steht das im Log und sonst nirgends.

Nur wird dabei fast immer ein Schritt übersprungen. Die üblichen Auswertungen filtern auf bekannte User-Agent-Strings, zählen die Treffer und veröffentlichen das Ergebnis. Der User-Agent ist aber ein frei setzbares Textfeld. Jeder kann sich als GPTBot ausgeben, und manche tun das gezielt, weil AI-Crawler auf vielen Servern großzügiger behandelt werden als anonyme Anfragen.

Ich habe das nicht gesucht. Ich wollte wissen, welcher Bot eigentlich den Kandidatenpool von ChatGPT befüllt, und bin in meiner eigenen Auswertung über die Spitze der Ergebnisliste gestolpert. Dort standen keine Artikel, dort standen /.env.production, /.git-credentials und /service-account.json.

Das ist keine Randnotiz. Es ist der Unterschied zwischen einer Messung und einer Zahl, die zufällig aus einem Computer kommt.

Die Datenbasis

Der letzte Punkt ist wichtig und ärgert mich. Die Website läuft hinter Cloudflare, und im Access-Log stehen deshalb überwiegend Edge-IPs des CDN statt der Adressen der anfragenden Systeme. Ein Abgleich gegen die von OpenAI, Microsoft oder Anthropic veröffentlichten IP-Bereiche ist für diesen Zeitraum damit ausgeschlossen. Die gesamte Zuordnung beruht auf einem Textfeld, das jeder frei setzen kann. Genau das macht die Bereinigung über die Pfade notwendig.

Das ist keine Naturkonstante, sondern eine Konfigurationsfrage. Cloudflare liefert die echte Client-IP im Header CF-Connecting-IP mit, zusätzlich in X-Forwarded-For. Ob sie im Log landet, entscheidet der Webserver: über mod_remoteip bei Apache, das real_ip-Modul bei nginx, oder indem der Header direkt ins LogFormat aufgenommen wird. Bei Managed Hosting kann das eine Anfrage beim Anbieter bedeuten. Ich habe das für diese Website inzwischen angestoßen, für die hier ausgewerteten 168 Tage kommt es zu spät.

Ein Vorbehalt bleibt auch danach. Wiederhergestellte IPs sind nur belastbar, wenn dein Origin ausschließlich Anfragen aus den Cloudflare-Netzen annimmt. Wer die Server-IP kennt und direkt anfragt, setzt den Header selbst. Die Prüfreihenfolge lautet also: erst den Origin abschotten, dann die echte IP ins Log holen, dann gegen die Anbieter-Ranges abgleichen. Wer bei Schritt drei anfängt, prüft ein Feld, das der Angreifer kontrolliert.

Wenn du selbst Logs auswertest, ist das der erste Blick, den du machst, bevor du irgendetwas zählst. Drei Zeilen ansehen reicht.

Die Signatur

Die Kampagne fällt auf, wenn man nicht die Bots ansieht, sondern die Pfade. Rund 400 URLs wurden jeweils 27 bis 33 Mal angefragt, über den ganzen Zeitraum verteilt. Diese Gleichförmigkeit ist der Fingerabdruck: Eine Wortliste, die ungefähr dreißigmal durchgelaufen ist. Echte Zugriffe verteilen sich nie so gleichmäßig.

Insgesamt kam ich auf 579 Pfade und 7.402 Requests, also 8,9 Prozent aller erkannten Bot-Zeilen. Die verwendeten Kennungen:

ChatGPT-User macht 51 Prozent der Scanner-Requests aus. Das ist kein Zufall. Wer sich als Crawler tarnt, wählt die Kennung, die am wahrscheinlichsten durchgelassen wird, und der ChatGPT-User steht auf vielen Whitelists, weil er einen echten Nutzer repräsentiert.

Zeitlich lag der Schwerpunkt klar im August 2026 mit 5.675 der 7.402 Requests, mit Vorläufern seit Mai und einem Ausläufer im September.

Die Erkennungsregel

Ein Pfad gilt als Scanner-Pfad, wenn alle drei Bedingungen zutreffen:

1. Er hat mindestens einmal einen Statuscode 401, 403 oder 404 zurückgegeben

2. Googlebot und bingbot haben ihn nie erfolgreich abgerufen, also nie mit 200, 301 oder 304

3. Er wurde von mindestens zwei verschiedenen Bot-Kennungen angefragt

Bedingung 2 ist der Anker. Deine echten Inhalte kennen die klassischen Suchmaschinen, deine Konfigurationsdateien nicht. Bedingung 3 fängt die Rotation, die einzelne Fehlaufrufe von echten Bots ausschließt.

Als awk über eine normalisierte Datei mit den Spalten Datum, Bot, Pfad, Status:

Für große Dateien ist die Schleife im zweiten Durchlauf zu langsam. Praktikabler ist, die Scannerliste einmal zu erzeugen und danach mit grep -vFf zu filtern. Der Punkt ist nicht die eleganteste Implementierung, sondern dass die Regel ohne Tool auskommt.

Wo die Regel danebenliegt: Sie verwirft Pfade, die legitim sind, aber von klassischen Suchmaschinen nie erfolgreich geholt wurden. Bei mir betraf das Sitemap-Varianten und ein paar Medien-URLs aus einer früheren CMS-Generation. Prüf die erzeugte Scannerliste einmal durch, bevor du sie anwendest. Fünf Minuten, und du weißt, ob die Regel für deine Site funktioniert.

Was die Bereinigung mit den Zahlen macht

Über die Hälfte der URLs, die das Log dem ChatGPT-User zuschreibt, existiert auf dieser Website nicht. Und die Fehlerquote, die man aus den Rohdaten ableiten würde, ist um den Faktor 39 zu hoch.

Stell dir vor, du berichtest deinem Kunden eine 404-Quote von 19 Prozent bei ChatGPT-Zugriffen und leitest daraus ein Weiterleitungsproblem ab. Der tatsächliche Wert liegt bei 0,6 Prozent. Du hättest ein Projekt aufgesetzt für ein Problem, das es nicht gibt. Ohne Ursache ist jede Maßnahme Aktionismus.

Der Befund, der dadurch kleiner wurde

Meine Ausgangsfrage war, ob ChatGPT Seiten abruft, die der offizielle Suchcrawler von OpenAI nie besucht hat. Wäre das häufig der Fall, wäre das ein Hinweis darauf, dass der Kandidatenpool aus anderen Quellen gespeist wird als aus dem sichtbaren Crawler.

Roh sah das nach einem Befund aus: 309 von 675 URLs, also 46 Prozent. Bereinigt bleiben 46 von 269 URLs, also 17,1 Prozent. Und davon wurden 30 von bingbot geholt und 35 von Googlebot. Nur elf URLs hat keiner der drei Crawler je angefasst.

Ein Rest bleibt also, aber er trägt keine starke These mehr. Die ehrliche Formulierung lautet: In den Daten dieser Website gibt es einen kleinen Anteil von Abrufen ohne vorherigen Crawler-Kontakt, und die Deutung ist offen. Das ist weniger spektakulär als die Rohzahl. Es ist auch das Einzige, was ich belegen kann.

Batch-Crawler und Nutzer-Crawler sind im Log unterscheidbar

Anteil der Zugriffe je Wochentag, in Prozent:

GPTBot bündelt 63,7 Prozent seiner Zugriffe auf Montag und Donnerstag. Das ist ein geplanter Lauf, kein kontinuierliches Crawling. Der ChatGPT-User dagegen zeigt ein Arbeitswochenprofil mit Einbruch am Wochenende, also das Muster, das echtes Nutzerverhalten erzeugt. bingbot und Googlebot sind gleichverteilt bis leicht wochenendlastig, ClaudeBot ebenfalls.

Der praktische Nutzen: Wenn du wissen willst, ob eine Kennung in deinen Logs Menschen oder Maschinen repräsentiert, sieh dir die Wochentagsverteilung an. Ein Nutzer-Crawler ohne Wochenendeinbruch ist verdächtig.

Und der Umkehrschluss ist die unangenehmere Frage: Falls dein AI-Visibility-Monitoring an festen Tagen läuft, erzeugt es selbst Crawler-Aktivität, die du anschließend als Sichtbarkeit interpretierst. In diesem Datensatz finde ich dafür kein Signal beim ChatGPT-User, dessen Sonntagsanteil mit 10,0 Prozent der niedrigste der Woche ist. Ausschließen lässt sich die Selbstverursachung damit nicht, prüfen aber schon, und das kostet dich fünf Minuten.

Der stärkste Crawler kommt von Meta

Bereinigte Zugriffe und Reichweite, Auszug:

Auf einer deutschsprachigen Beratungs-Website mit überschaubarem Umfang ist Metas Crawler die aktivste Kennung überhaupt, sowohl nach Abrufen als auch nach Reichweite. In der deutschen Diskussion über AI Search taucht er praktisch nicht auf. Das bedeutet nicht, dass er wichtig ist. Es bedeutet, dass wir über Sichtbarkeit in Systemen reden, deren Crawler wir nicht auf dem Schirm haben.

Zweite Beobachtung aus derselben Tabelle: Reichweite und Frequenz sind zwei verschiedene Dinge. GPTBot hat mit 1.042 URLs die zweitbreiteste Abdeckung, aber die wenigsten Abrufe. ChatGPT-User hat die zweitmeisten Abrufe und mit 309 URLs die schmalste Abdeckung aller großen Bots. Der eine kartiert, der andere holt gezielt wenige Seiten immer wieder.

Nach dem Relaunch war ChatGPT schneller aus den alten URLs raus als Google

Diese Website ist am 11. Mai 2026 auf eine neue URL-Struktur umgestellt worden. Anfragen auf die alten Pfade danach, pro Monat:

*September nur bis zum 4. erfasst.

ChatGPT hat die alte Struktur nach knapp drei Monaten praktisch vollständig ersetzt. Googlebot fragte im August noch häufiger nach alten Pfaden als im Juli. Das widerspricht der verbreiteten Annahme, KI-Systeme hielten Inhalte monatelang eingefroren, während Google zügig aktualisiert. In diesen Daten ist es umgekehrt.

Zwei Einschränkungen gehören dazu. Erstens ist das eine einzelne Website mit einem sauber ausgeführten Weiterleitungskonzept. Der ChatGPT-User bekam auf alten Pfaden 1.706 Mal eine 200, 657 Mal eine 301 und genau einmal eine 404. Bei kaputten Weiterleitungen kann das Bild völlig anders aussehen. Zweitens sagt das nichts über den Lesecache aus, sondern nur darüber, welche URLs noch angefragt werden.

Du filterst nur auf User-Agents und hältst das für eine Messung. Der häufigste Fehler, und der Grund für diesen Artikel. Ein Textfeld ist keine Identität.

Du gleichst gegen IP-Bereiche ab, ohne zu prüfen, ob deine Logs die echten IPs enthalten. Hinter Cloudflare, Fastly oder einem Load Balancer steht die Edge-IP im Log, nicht die des Anfragenden. Der Abgleich läuft dann formal durch und beweist nichts. Sieh dir drei Zeilen an, bevor du dir Arbeit machst, und stell die Logkonfiguration um, statt dich mit dem Textfeld abzufinden. Das ist eine einmalige Aufgabe, die jede spätere Auswertung besser macht.

Du vergleichst Zeiträume unterschiedlicher Länge. Meine eigene frühere Aussage, PerplexityBot sei der aktivste Crawler auf meiner Faktenseite, stammt aus einem 57-Tage-Fenster. Über 168 Tage sieht die Reihenfolge anders aus. Kein Widerspruch, aber eben auch kein vergleichbarer Wert. Wer Zahlen aus verschieden langen Fenstern nebeneinanderstellt, produziert Entwicklungen, die es nicht gibt.

Du wechselst das Werkzeug statt der Frage. Es gibt inzwischen eine Reihe von Log-Analysetools mit AI-Crawler-Modul. Keines davon ersetzt die Entscheidung, was du eigentlich wissen willst und welche Zeile deiner Rohdaten diese Frage beantwortet. Du brauchst kein Mehr an Komplexität, du brauchst ein besseres System.

llms.txt. Ich habe an mehreren Stellen geschrieben, dass die Datei von KI-Crawlern nicht abgerufen wird und alle beobachteten Zugriffe von SEO-Audit-Tools stammen. Über 168 Tage sieht es so aus: fünf Zugriffe auf /llms.txt, davon vier von Claude-User und einer von CCBot. Dazu ein Zugriff auf /llms-full.txt, ebenfalls von Claude-User.

Kein einziger Abruf von OAI-SearchBot, GPTBot, PerplexityBot, bingbot oder Googlebot. Die These hält also im Kern, die absolute Formulierung nicht. Claude-User und CCBot sind KI-Kennungen, keine Audit-Tools. Fünf Zugriffe in fünfeinhalb Monaten sind praktisch null, aber sie sind nicht null, und der Unterschied gehört benannt.

Eine methodische Einschränkung dazu: Dieses Skript filtert ausschließlich auf bekannte Bot-Kennungen. SEO-Audit-Tools erscheinen darin gar nicht. Meine ältere Beobachtung wird durch diese Auswertung also nicht widerlegt, sondern nur um die Crawler-Seite ergänzt.

Die Faktenseite unter /facts. 557 Zugriffe im Zeitraum:

Meine frühere Aussage, PerplexityBot sei dort am aktivsten, galt für ein kürzeres Fenster. Über 168 Tage liegt Metas Crawler vorn. Die Kernaussage bleibt: Die Seite bekommt messbare Aufmerksamkeit von KI-Crawlern, und zwar deutlich mehr als llms.txt. Der Faktor liegt bei über 100.

Wenn du das nachbaust, sind das die Fragen, die etwas hergeben. In dieser Reihenfolge.

1. Wie tief kennt dich jeder Bot? Nicht Abrufe zählen, sondern unterschiedliche URLs. Ein Bot mit 5.000 Abrufen auf 20 URLs weiß weniger über dich als einer mit 500 Abrufen auf 400 URLs.

2. Welche Statuscodes bekommt jeder Bot? Alles außer 200, 301 und 304 auf erlaubten Pfaden ist ein Fund. 403 und 429 bei Kennungen, die deine robots.txt zulässt, bedeuten, dass deine WAF oder dein CDN eine andere Entscheidung trifft als du.

3. Wie verteilen sich die Zugriffe über die Wochentage? Batch oder kontinuierlich, Mensch oder Maschine, und ob dein eigenes Monitoring im Bild auftaucht.

4. Welche URLs ruft ein nutzergetriebener Crawler ab, ohne dass ein Suchcrawler desselben Anbieters vorher da war? Erst nach der Bereinigung. Vorher misst du Scanner.

Die Erkenntnis dieses Artikels ist keine über ChatGPT. Sie ist eine über Messung.

Ich hatte einen Befund, der nach etwas aussah: 46 Prozent der von ChatGPT abgerufenen URLs ohne vorherigen Crawler-Kontakt. Als Überschrift hätte das funktioniert. Nach der Bereinigung sind es 17 Prozent, davon der größte Teil über Bing oder Google erklärbar, und übrig bleiben elf URLs, aus denen sich keine These bauen lässt.

Das ist das unspektakuläre Ergebnis, und es ist das einzige, das ich verantworten kann.

Wenn du nur eine Sache mitnimmst: Bevor du eine Zahl aus deinen Logs veröffentlichst, sieh dir die zehn häufigsten Pfade in deiner Ergebnisliste an. Wenn dort keine Inhalte stehen, sondern Dateinamen, die auf deiner Website nichts zu suchen haben, misst du etwas anderes als das, was du glaubst.