LogProcessing - Part 1

How to analyze Apache access logs from multiple machines
oder
Wie zum Teufel kriege ich das alles unter einen Hut?


Die Problemstellung:
Wir haben in der DMZ drei Webserver. Über einen LoadBalancer bedienen alle drei sozusagen parallel sämtliche virtual Hosts. Ziel soll sein sämtliche Logs eines jeden einzelnen virtual Hosts über alle drei Webserver hinweg auf einem zentralen System im Intranet auszuwerten.
Unsere Webserver laufen (aus politischen Gründen) alle unter Windows. Aber ich denke ein fleißiger Admin da draußen kann das sicherlich auch auf Linux übertragen.

Die Lösung:
Vom Prinzip her ist es eigentlich ganz einfach. Die vier Schritte:
sämtliche Logs einsammeln, die Logs pro Domain/virtual Host aufbereiten, Logs auswerten und dann die Statistiken aggregieren.

Da beginnen jedoch die Probleme. Wie kriege ich Logs alle eingesammelt? Wie kann ich diese chronologisch sauber auswerten? Und wie aggregiere ich diese Daten?

Weiter mit Schritt 1 (Apache Logging & Logs einsammeln)...

Ablaufplan & Übersicht
oder gleich zu Schritt 2 (Logs aufbereiten)
oder Schritt 3 (Logs auswerten und eine schicke Übersicht ausgeben)