RS DB Analyzer

Ist meine IPS-Datenbank übergewichtig?

….wird sich so mancher fragen: das DB-File ist riesengroß, mittlerweile 1,3GB (nach 2 Jahren Intensivst-Logging by Raketenschnecke). Warum ist das so? was steckt da alles drin? Tut das not?….

Fragen über Fragen. Doch nun kommt Licht ins Dunkel: mit dem RS DB Analyzer. Braucht man den? Nein, nicht zwingend. Kann aber hilfreich sein.

Beispiel: ich hab zum Thema Logging-Strategie schon geschrieben, dass ich bestimmte Daten zwar logge, aber nur für einen bestimmten Zeitraum. Als ich den Analyzer das erste Mal laufen ließ fand ich gleich auf den ersten Blick 6 Variablen, die jeweils um die 500.000 Datensätze auf der Uhr hatten, aber nur etwa 50.000 hätten haben dürfen. Sofort überprüft: siehe da: die nächtliche Datenlöschung funktionierte nicht. Daten gelöscht, schon waren es 2,8 Mio Datensätze weniger. (Nachtrag, nach einer Woche Nutzung: inwzischen ist die DB durch weitere Pflege der Datenvorhaltung um 4,6 Mio Datensätze abgespeckt (über 30%)).

Das ist in etwa das Volumen, was sich in 6 Monaten ansammelt. Man sieht also: Transparenz ist anstrengend, kann aber helfen ;-)

Und das Obercoole dabei: ab jetzt muss ich mich nicht mehr selbst um das zyklische Löschen nicht mehr benötigter Daten kümmern, das erledigt jetzt der DB-Analyzer für mich. Das kann der ganz alleine! Und das fürht mittlerweile dazu, dass mein täglicher Datenzuwachs von ca 80.000 Datensätzen auf ca 10.000 Datensätze gesunken ist. Das Backup hat sich auch schon bedankt.

Update nach 2 Monaten Betrieb: das tägliche DB-Wachstum hat sich auf sagenhafte 22% reduziert (siehe Bild rechts). Das DB-Wachstum kann man auch täglich mitverfolgen: RS.SYS-Health (Chart ganz unten)

Features (Kurzübersicht)

• täglicher Lauf der Projektscripte mit DB-Datenlöschung und Logging
• manuelle oder automatisierte Abarbeitung von Reaggregations-Queues innerhalb beliebiger, frei definierbarer Zeitfenster
• flexible Datenvisualisierung: Übersichtstabelle aller geloggten Variablen (DB-Analyzer), Variablen-Details (Variablen-Steckbrief), Rohdaten-Visualisierung (Variablen-Databrowser),  Multisort-Funktionen, diverse Statistik-Informationen zum Datenbestand, -Wachstum, -Menge etc.
• dynamisches Datenmanagement: tägliches Löschen von nicht mehr benötigten Logging-Daten, frei konfigurierbar
• diverse Konfigurationsmöglichkeiten durch den User (Anzahl Tabellenspalten, Spaltenreihenfolge, Vorsortierung)
• Online-Toolhilfe
• Record-Analyzer untersucht geloggte Zähler-Variablen auf Datenfehler und bereinigt diese auf Wunsch
• die Sparkline-Darstellung im DB-Analyzer wird vom FireFox nicht vollständig unterstützt

Features (Details)

Modul DB-Analyzer

als Einstieg (via Webfrontend) wird man gleich von einer  riesen Daten-Tapete erschlagen – zumindest wenn man viele Variablen auf „Logging“  gestellt hat. aber so dramatisch ist das gar nicht – und wenn doch: via User-Config können die Spalten ja wieder ausgeblendet werden ;-)

Zweck des Analyzers ist, einen Komplett-Übersicht über den Datenbestand sowie Datenzu- Abflüsse zu bekommen, über verwaiste Variablen, geloggte Variablen ohne Daten sowie Variablen-Datensätze von deaktivierten Variablen informiert zu werden. Unterstützt wird dies durch die Multisort-Funktion der Datentabelle sowie diverse Statistik-Informationen. Vo hier aus kommt man dann – wenn sich die Verwirrung gelichtet hat – zu weiteren Detail-Views wie Variablen-Steckbrief, Variablen-Databrowser, Statistik-Tooltips und Online-Hilfe.

Variablen-Steckbrief/dyn. Datenmanagement:

Ab V2.0 des DB-Analyzers ist auch ein Datenmanagement möglich:

pflegt man den Vorhaltezeitraum einer Variable (via Variablen-Steckbrief), so werden beim nächtlichen Lauf des Projekts alle Daten der Variable gelöscht, die ausserhalb des Vorhaltezeitraums liegen. Damit kann man das Wachstum des DB-Files dramatisch ausbremsen, sogar zum Stillstand bringen. Performance-Vorteile bringt das nicht, aber in Sachen Backup ist das ein riesen Vorteil, kleine Files handeln zu müssen.

Über den Variablen-Steckbrief lässt sich das Logging für jede Variable abschalten, eine Option zur kompletten Datenlöschung wird ebenfalls angeboten.

Modul Variablen-Databrowser

Über klick auf die „Records“-Zelle im DB-Analyzer wird der Variablen-Databrowser aufgerufen. Hier werden die Rohdaten der Variable der verg. 24h (begrenzt auf max. 5000) abgerufen und ein einer Datentabelle aufbereitet. Die Rohdaten selbst werden 1:1 so dargestellt, wie sie aus der DB kommen. Damit man damit was anfangen kann, aber ich einige zusätzliche Informationen hinzugefügt:  wer hat schon die Unix-Timestamps auswendig gelernt und weiß sofort, welcher Zeitpunkt gemeint ist?! Ein „human Date“ (für Menschen lesbares Format: 23.12.2012, 06:77 Uhr) ist besser als 1356243420.

Auch diese Tabelle lässt sich beliebig sortieren, beherrscht die Multisort-Funktion – und über das Config-Script kann man die default-Zeilenanzahl dem lokalen Bildschirm anpassen. Natürlich lässt sich zusätzlich direkt im WFE Zeilenanzahl auf das bis zu 4fache des eingestellten Defaultwertes erhöhen.

Modul Aggregation-Manager

Den Aggregation-Manager gibt es in 2 Varianten: einen für den manuellen Modus, einen für den Automatischen Modus. Im automatischen Modus kann eine freie Auswahl an zu reaggregierenden Variablen definiert werden. Weiterhin kann man beliebige TimeSlots definieren, innerhalb derer die reaggregation ablaufen darf. Im automatischen Modus  arbeitet der Aggregations-Manager die Queue so ab, dass eine optimale Ausnutzung der definierten Zeitfenster gewährleistet ist.

Die Queue kann während des Reaggregations-Prozesses ergänzt, verkürzt oder gelöscht werden. Ebenso erhält man Infos über die voraussichtliche Dauer der Reaggregation (bei mir würde eine vollständige Reaggregation ca 60h (!) dauern) – so fällt eine Planung der ReAgg-Queue wesentlich leichter.

Die Abarbeitung der Queue lässt sich via Button im WFE  in den Pause-Modus versetzen, falls wichtige IPS-Aktivitäten anstehen. Anschließend kann die Abarbeitung fortgesetzt oder die Queue ganz gelöscht werden.

Modul  Record Analyzer

Der Record-Analyzer untersucht alle Datensätze von Zähler-Variablen auf Fehlerwerte. Diese Fehlerwerte können via GUI analysiert und bereinigt werden (Cleaning). Anschließend sollten die betroffenen Variablen reaggregiert werden. Dazu erstellt der Record-Analyzer eine Reaggregations-Queue, die vom User via Aggregations-Manager zur Abarbeitung angestoßen werden kann. Sicherheitshalber schreibt der Record-Analyzer ein Log ins Projektverzeichnis („\RSDB_Analyzer\RecordAnalyzer\Log\“), welches alle gelöschten Daten enthält.

Achtung: die Fehlerausgabe ist auf max. 500 Fehler begrenzt, da es sonst zu Memory-Problemen in IPS kommt. Hat eine Variable mehr als 500 Fehler, muss der Cleaning-Prozess entsprechend oft angestoßen werden.

Detailierte Informationen und Hintergrundwissen gibts hier: Link

Modul  Record Reducer

Mit der Version 2.7 des DB-Analyzers hat ein neues Modul sein Zuhause gefunden: der Record Reducer.

Mit seiner Hilfe kann man alte IPS-Datenbestände reduzieren, und zwar drastisch. Es wird nur ein Datensatz pro Stunde stehen gelassen, der Rest wird gelöscht. Zeitraum und Variablen dieser Reduktion sind durch den User frei wählbar. Ist der Reducer mit seinem Job fertig, übergibt er eine Liste von Variablen zur Reaggregation an den Aggregation-Manager. Anschließend kann man bequem die Reaggreation anstoßen und sich wieder hinlegen – den Rest macht die Software.

Detail-Infos zum Record Reducer hier: klick

Statistik-Daten (Sparklines + KPI’s)

ab dem Zeitpunkt der Installation der V2.0 des RS DB Analyzers werden auch die Datenmengen pro Variable aufgezeichnet. Da diese Funktionalität nicht auf IP-Symcon Kernfunktionen aufsetzt, werden diese Daten ausserhalb der Db gespeichert (in csv-Files). Das hat auch zur Folge,  dass die Sparklines logischerweise erst nach einigen Tagen/Monaten brauchbare Anzeigen produzieren.  Und mit denen hab ich wirklich nicht gegeizt: Pro Variable gibt es 3 Sparklines (übers Projekt verteilt), + eine Handvoll weiterer dieser kleinen Kerlchen. In meinem lokalen Projekt sind es in Summe knapp 700 Stück. I love it!

Installation:

im Download befindet sich ein mit dem Project Exporter erstelltes Install-File. Also ist das Ganze Plug and Play:

• Script aus dem Download ins IPS importieren
• im Installscript die ID des Webfront-Konfigurators angeben
• Install-Script starten
• im Webfront-Konfigurator die den neu installierten Projekt-Teilbaum „CpyDB_Visu“ an die gewünschte Stelle im WFE-Objektbaum ziehen, speichern
• Projekt „RS DB Analyzer“ ist nun vollständig installiert und betriebsbereit
• WFC-ID für Popup-Meldungen eintragen (sonst wird sofort eine Fehlermeldung generiert)!
• zum Aktivieren des Projekts einmalig manuell das Script „User-Config“ im IPS-Objektbaum starten