AI Bot Logfile Analyzer

GA4 und die Google Search Console tracken keine Bot-Zugriffe. Was KI-Systeme auf deiner Website wirklich treiben, siehst du nur im Server-Log. Das Tool liest Apache- und Nginx-Zugriffsstatistiken direkt im Browser aus, ohne dass eine Zeile deiner Logdaten den eigenen Rechner verlässt. Es erkennt 56 bekannte Bots in 7 Kategorien und liefert eine auswertbare Übersicht nach Bot, Zugriffsanzahl, gecrawlten URLs und Statuscode-Verteilung.

Unterstützte Log-Formate: Apache Combined Log Format, Nginx Default Log Format, cPanel, Plesk, Mittwald Space Server und all-inkl.com.

Changelog: 29.05.2026 - V0.4, Neue Filtermöglichkeit in der URL-Analyse | 29.05.2026 - V0.3, Anpassung der Limits und neue Auslastungsanzeige | 29.05.2026 - V0.2, Code Review und Security Hardening | 28.05.2026 - V0.1, Erste stabile Version.

Eine oder mehrere Logdateien werden per Drag & Drop oder Dateiauswahl geladen. Das Tool liest und verarbeitet sie vollständig im Browser, kein Byte wird übertragen, nichts wird gespeichert. Auch komprimierte .gz-Dateien werden direkt im Browser entpackt, kein Server beteiligt.

Das Parsing folgt einer bewusst gewählten Datensparsamkeit: Query-Parameter wie ?session= oder ?email= werden beim Einlesen sofort verworfen. User-Agent-Strings werden nach der Bot-Erkennung nicht länger im Speicher gehalten. Was nicht gebraucht wird, landet nicht im Speicher.

Filter-Optionen

Drei Filter steuern, was in die Auswertung einfließt:

• Host-Filter: Bei Logdateien mit mehreren Virtual Hosts lässt sich gezielt ein Host auswählen.

• Assets ausblenden: CSS, JavaScript, Bilder, Fonts und andere statische Ressourcen werden herausgefiltert. Standardmäßig aktiv.

• Monitoring ausblenden: Uptime-Monitoring-Dienste bleiben aus der Bot-Auswertung ausgeschlossen. Standardmäßig aktiv.

Die drei Analyse-Tabs

Übersicht

Anfragen im Zeitverlauf als Balkendiagramm, stündlich oder täglich je nach Analysezeitraum, mit Bot-Anteil farblich abgesetzt. Dazu die Statuscode-Verteilung (2xx, 3xx, 4xx, 5xx) und die Top-10-URLs nach Anfragevolumen mit Bot-Anteil und Fehlerrate.

Bot-Analyse

Gruppenübersicht aller erkannten Bots mit absoluten Zahlen und prozentualen Anteilen. Detailtabelle pro Bot mit Statuscode-Aufschlüsselung (200, 301, 401, 404, 410), Erfolgsrate und Fehlerrate-Badge. Bots, die /robots.txt abgerufen haben, werden separat markiert. Bots mit Doppelfunktion, zum Beispiel Googlebot für klassische Suche und AI Overviews oder Bingbot für Bing Search und Microsoft Copilot, werden entsprechend gekennzeichnet. CSV-Export der Tabelle ist direkt verfügbar.

URL-Analyse

Alle angefragten URLs nach Gesamtanfragen sortiert, aufgeteilt in Bot- und Nutzer-Traffic mit Bot-Prozentsatz und Fehlerrate. Live-Filter in zwei Modi: „Enthält" und „Enthält nicht", zum gezielten Einschränken auf URL-Muster wie /blog/ oder /api/. Ohne aktiven Filter werden bis zu 50 URLs angezeigt, mit aktivem Filter bis zu 200 Treffer.

Browser-Auslastungsanzeige

Das Tool zeigt in Echtzeit, wie viele Einträge geladen sind im Verhältnis zum Gesamtlimit von 250.000. Die Farbkodierung (Niedrig / Mittel / Hoch / Limit) schützt vor Browser-Abstürzen durch frühzeitige Warnung, bevor das Limit erreicht wird.

Schritt 1: Access Log besorgen

Das Access Log liegt auf deinem Webserver. Bei Apache typischerweise unter /var/log/apache2/access.log, bei Nginx unter /var/log/nginx/access.log. Bei Shared Hosting findest du es im Dateimanager des Hosting-Panels oder lädst es per FTP/SFTP herunter. Bei manchen Anbietern muss das Logging erst in den Server-Einstellungen aktiviert werden.

Ein einzelner Tag reicht meistens nicht aus. Bot-Crawling-Aktivitäten schwanken, und einzelne Tage können ein verzerrtes Bild liefern. Logs über mindestens zwei bis vier Wochen sind aussagekräftiger.

Schritt 2: Datei einlesen

Lade eine oder mehrere Dateien per Drag & Drop oder Dateiauswahl. Unterstützte Formate: .log, .log.gz, .txt. Mehrere Dateien können gleichzeitig geladen und zu einer gemeinsamen Auswertung zusammengefasst werden, nützlich bei Log-Rotation mit Dateien wie access.log.1, access.log.2.gz.

Größenlimits zum Schutz vor Browser-Abstürzen:

• Unkomprimierte Dateien (.log, .txt): maximal 75 MB pro Datei

• Komprimierte Dateien (.gz): maximal 10 MB komprimiert (entspricht je nach Kompressionsrate ca. 300 bis 600 MB unkomprimiert)

• Einträge gesamt über alle Dateien: maximal 250.000

Wird ein Limit überschritten, bricht das Tool mit einer Fehlermeldung ab und nennt die betroffene Datei. Bereits verarbeitete Daten bleiben erhalten. Für sehr große Logs empfiehlt sich ein serverseitiges Tool wie GoAccess.

Schritt 3: Ergebnisse auswerten

Das Tool gibt eine Übersicht nach Bot, Zugriffsanzahl, gecrawlten URLs und Zeitraum aus. Die Bot-Analyse zeigt nicht nur, welche Crawler aktiv waren, sondern auch wie ihre Fehlerraten aussehen und ob sie deine robots.txt überhaupt abgerufen haben.

Schritt 4: Ergebnisse exportieren

Die Bot-Auswertung lässt sich als CSV exportieren, für die Dokumentation einer AI Search Baseline, zur weiteren Analyse im Spreadsheet oder als Grundlage für Entscheidungen zur Crawler-Strategie.

Das Tool erkennt 56 bekannte Bots und klassifiziert sie nach Funktion und Herkunft:

• KI-Training — Crawler, die Inhalte für das Training von Sprachmodellen sammeln

• KI-Suche / RAG — Systeme, die Inhalte für KI-gestützte Suchantworten abrufen

• Suchmaschinen — klassische Crawler wie Googlebot oder Bingbot, teils mit Doppelfunktion

• SEO-Tools — Crawlsimulationen von Analyse-Diensten wie Ahrefs, Semrush oder Majestic

• Monitoring — Uptime- und Performance-Monitoring-Dienste

• Security-Scanner — Sicherheitsscanner und Schwachstellenprüfer

• Unbekannt — User-Agents, die Bot-Muster aufweisen, aber keinem bekannten Anbieter zugeordnet werden können

Die AI-spezifischen Bots (KI-Training und KI-Suche / RAG) im Überblick:

Die Liste wird bei Bedarf aktualisiert, wenn neue relevante AI-Crawler aktiv werden.

Bei sehr großen Logdateien empfiehlt sich ein serverseitiges Tool wie GoAccess.

Die Auswertung zeigt dir, welche KI-Systeme deine Inhalte tatsächlich crawlen. Das ist eine der wenigen direkt messbaren Eingangsvariablen in einem ansonsten weitgehend intransparenten System.

AI Search Baseline vervollständigen

Die Crawling-Daten aus deinem Log sind der einzige Beleg dafür, dass ein AI-System deine Seiten überhaupt besucht hat. Als Teil einer vollständigen AI Search Baseline dokumentierst du damit die Eingangsseite des Systems, nicht nur die Ausgabe.

robots.txt-Entscheidungen fundieren

Wenn bestimmte Bots intensiv crawlen, du aber in den entsprechenden AI-Systemen nicht auftauchst, ist das eine Information. Genauso, wenn Bots Seiten abrufen, die du nicht für AI-Systeme freigeben willst. Das Tool zeigt außerdem, ob Bots deine robots.txt überhaupt abgerufen haben. Ein Bot, der keine robots.txt abruft, ignoriert sie mit hoher Wahrscheinlichkeit auch.

Unbekannte oder unerwünschte Crawler identifizieren

Neben den bekannten AI-Bots tauchen im Log regelmäßig User-Agents auf, die Crawler imitieren oder keiner bekannten Quelle zugeordnet werden können. Das Tool kennzeichnet sie separat.

Einen ausführlichen Leitfaden dazu, welche AI-Crawler du zulassen solltest und was die Entscheidung für deine AI-Sichtbarkeit bedeutet, findest du hier:

→ AI Crawler Strategie: Wer sie wirklich braucht, was sie bringt