AI Bot Logfile Analyzer

GA4 und die Google Search Console tracken keine Bot-Zugriffe. Das einzige verlässliche Bild davon, welche KI-Crawler deine Website tatsächlich besuchen, liefert dein Server-Log. Dieses Tool macht genau das sichtbar: Es extrahiert alle erkannten AI-Bot-Zugriffe aus deinen Access Logs und bereitet sie als auswertbare Übersicht auf.

Unterstützte Formate: Apache Combined Log Format, Nginx Default Log Format.

Changelog: 29.05.2026 - V0.4, Neue Filtermöglichkeit in der URL-Analyse | 29.05.202 - V0.3, Anpassung der Limits und neue Auslastungsanzeige | 29.05.2026 - V0.2, Code Review und Security Hardening | 28.05.2026 - V0.1, Erste stabile Version.

Du hast eine oder mehrere Access-Log-Dateien von deinem Webserver und willst wissen, welche KI-Crawler deine Website in welchem Umfang besucht haben. Mit diesem Tool lädst du die Logs direkt im Browser ein - ohne sie irgendwo hochzuladen - und bekommst eine strukturierte Auswertung nach Bot, Zugriffsanzahl, gecrawlten URLs und Zeitraum.

Schritt 1: Access Log besorgen

Das Access Log liegt auf deinem Webserver, meistens unter /var/log/apache2/access.log (Apache) oder /var/log/nginx/access.log (Nginx). Bei Shared Hosting findest du es in der Regel im Dateimanager deines Hosting-Panels oder kannst es per FTP herunterladen. Bei manchen Anbietern ist der Zugriff auf Logs erst nach Aktivierung in den Server-Einstellungen möglich.

Wichtig: Je länger der analysierte Zeitraum, desto aussagekräftiger das Ergebnis. Einzelne Tage können durch tagesaktuelle Crawling-Aktivitäten verzerrt sein. Sinnvoll sind Logs über mindestens zwei bis vier Wochen.

Schritt 2: Datei einlesen

Wähle eine oder mehrere Log-Dateien aus. Das Tool verarbeitet auch komprimierte .gz-Dateien, wie sie bei automatischer Log-Rotation entstehen, direkt im Browser.

Bitte beachten: Die eingebaute Größenbeschränkungen schützen vor Browserabstürzen bei sehr großen Logs:

• .log und .txt-Dateien: maximal 75 MB pro Datei

• .gz-Dateien: maximal 10 MB komprimiert (entspricht je nach Kompressionsrate ca. 300-600 MB unkomprimiert)

Wird eine dieser Grenzen überschritten, bricht das Tool den Einlesevorgang ab und gibt einen Fehlertext mit dem betroffenen Dateinamen aus. Beim Parsen stoppt die Verarbeitung automatisch bei 250.000 Einträgen. Der bis dahin erfasste Datensatz wird vollständig ausgewertet - es gibt keinen Abbruch mitten in einem Verarbeitungsschritt, keine Exception und keinen Datenverlust. Für die meisten Projekte sind 250.000 Einträge mehr als ausreichend; bei sehr großen Logs mit hohem Traffic empfiehlt sich eine zeitliche Vorfilterung der Logs auf dem Server.

Das ist nicht optimal, aus Datenschutzgründen und für einen fehlerfreien Betrieb in den meisten Webbrowsern aber die beste Lösung. Ich will bewusst keine Daten außerhalb deines Browsers zwischenspeichern um Größenbeschränkungen zu umgehen.

Schritt 3: Ergebnisse auswerten

Das Tool gibt eine Übersicht aus, gegliedert nach:

• Bot-Name: Welcher AI-Crawler hat zugegriffen (z.B. GPTBot, ClaudeBot, PerplexityBot, Google-Extended)?

• Zugriffsanzahl: Wie viele Requests hat der jeweilige Bot im analysierten Zeitraum gemacht?

• Gecrawlte URLs: Welche Seiten wurden besucht, und wie häufig?

• Zeitraum: Wann fanden die Zugriffe statt?

Schritt 4: Ergebnisse exportieren

Die Auswertung lässt sich als CSV herunterladen – für die Dokumentation in deiner Baseline, für die weitere Analyse in einem Spreadsheet oder als Grundlage für Entscheidungen zur AI-Crawler-Strategie.

Das Tool erkennt aktuell die folgenden AI-Crawler anhand ihrer User-Agent-Strings:

Die Liste wird bei Bedarf aktualisiert, wenn neue relevante AI-Crawler aktiv werden.

Die Auswertung zeigt dir, welche KI-Systeme deine Inhalte tatsächlich crawlen. Das ist eine der wenigen direkt messbaren Eingangsvariablen in einem ansonsten weitgehend intransparenten System.

Drei konkrete Anwendungsfälle:

AI Search Baseline vervollständigen: Die Crawling-Daten aus deinem Log sind der einzige Beleg dafür, dass ein AI-System deine Seiten überhaupt besucht hat. Als Teil einer vollständigen AI Search Baseline dokumentierst du damit die Eingangsseite des Systems, nicht nur die Ausgabe.

robots.txt-Entscheidungen fundieren: Wenn du siehst, dass bestimmte Bots intensiv crawlen, aber du in den entsprechenden AI-Systemen nicht auftauchst, ist das eine Information. Genauso, wenn Bots Seiten crawlen, die du nicht für AI-Systeme freigeben willst.

Unbekannte oder unerwünschte Crawler identifizieren: Neben den bekannten AI-Bots tauchen im Log oft User-Agents auf, die AI-Crawler imitieren oder keiner bekannten Quelle zugeordnet werden können. Das Tool kennzeichnet sie separat.

Einen ausführlichen Leitfaden dazu, welche AI-Crawler du zulassen solltest, welche nicht, und was die Entscheidung für deine AI-Sichtbarkeit bedeutet, findest du hier:

→ Zum Artikel: AI Crawler Strategie: Wer sie wirklich braucht, was sie bringt