jBEAM Cluster: erweiterte Kapazität für die Analyse von Big Test Data

Mehrere innerhalb eines jBEAM Cluster befindliche jBEAM Instanzen analysieren parallel zueinander verschiedene Messdatensätze, die demselben Data Lake zugehören. Die dabei erhaltenen Teilergebnisse werden abschließend zur Erstellung eines einzelnen Ergebnisses aggregiert.

Zur Funktionsweise von jBEAM Cluster:

  • Eine in einem jBEAM generierte Analyse erfährt eine Parallelverarbeitung in einem jBEAM Cluster, das mehrere jBEAM Instanzen enthält.
  • Ein solches jBEAM Cluster besteht aus mehreren Instanzen von jBEAM (Knoten), die auf einem oder auch mehreren Computern ausgeführt werden.
  • Jeder Cluster-Knoten verarbeitet zu einem gegebenen Zeitpunkt immer nur eine Datei, liefert das Ergebnis an den Aggregator zurück und meldet dem Cluster-Manager seinen aktuellen Status.
  • Dieses Verfahren entspricht einem MapReduce mit Dateien. Die Dateien brauchen dazu nicht aufgespalten zu werden.
  • Ist die Verarbeitung aller Dateien abgeschlossen, führt der Aggregator die Teilergebnisse zusammen und liefert diese über das Netzwerk an den Nutzer (Client) als einzelnes abschließendes Ergebnis zurück.
  • Hierbei lassen sich sowohl herkömmliche (wie etwa Windows, NAS und Linux) als auch verteilte Dateisysteme verwenden.
Vorzüge

Übertragung riesiger Datenmengen entfällt

Berechnungen erfolgen lokal, am Datenspeicherort

Option zur Integration in das MaDaM Messdaten-Managementsystem

Ein jBEAM Cluster nutzt für eine noch schnellere Verarbeitung großer Testdatenmengen mehrere jBEAM Instanzen (Knoten).

Parallelität

Im Interesse einer effizienten Verarbeitung stetig wachsender Mengen an Messdaten ist es wichtig, dass die Berechnung am tatsächlichen Speicherort der Daten selbst erfolgt. Hierdurch verringert sich der für den Transfer riesiger Datenmengen benötigte Aufwand.

Bei uns finden Sie eine Komplettlösung für die Verarbeitung großer Datenmengen. jBEAM ist unsere Stateful-Applikation für eine parallele Verarbeitung und Analyse von Big Test Data. Für eine Verarbeitung Ihrer Messdaten mit größtmöglicher Effizienz empfiehlt sich die Kombination mit MaDaM, unserem System für das Messdaten-Management.

jBEAM Cluster für die Analyse von Big Test Data erweitert die Kapazitäten von jBEAM und erlaubt so echte globale Analysen.

Multithreading mehrerer Berechnungskomponenten

Die Analysen geeigneter Berechnungskomponenten werden in jBEAM parallel abgearbeitet, um die Möglichkeiten, die moderne Mehrkern-Prozessoren bieten, optimal auszuschöpfen.

Eine Analysekette besteht aus mehreren Berechnungsinstanzen sowie einer Anzahl an Grafikkomponenten. Jede Komponente geht dabei ihrer Aufgabe parallel nach, sofern die Art der Transaktion dies zulässt. So lässt sich eine Histogramm-Berechnung in mehrere voneinander unabhängige Aufgaben unterteilen, was hingegen bei einer Fast Fourier Transformation (FFT) nicht möglich ist.

Effizientes Verknüpfen und Verarbeiten mehrerer Data Lakes

Global agierende Unternehmen mit mehreren Forschungszentren unterhalten häufig mehrere Dateneinlagerungszentren mit jeweils einem lokalen Messdaten-Managementsystem. Für die Mehrzahl ihrer Analyseaufgaben nutzen Techniker üblicherweise ihr „lokales“ MaDaM. Wird eine eher globale Analyse benötigt, so kommuniziert ein lokales MaDaM (via MaDaM Connect) mit allen anderen zur Verteilung sowohl der Suchanfrage als auch der Definition der Analyse. Jedes MaDaM verarbeitet dabei die Anfrage unabhängig von den übrigen und liefert, sobald alle Ergebnisse für den abschließenden Bericht zusammengetragen sind, die Ergebnisse an das anfragende MaDaM zurück. Innerhalb der einzelnen (von MaDaM verwalteten) Data Lakes werden die Analysen lokal am Datenort verarbeitet und im Anschluss zur Erstellung eines Gesamtergebnisses aggregiert. Die Analysen der einzelnen MaDaM werden vom jeweiligen lokalen jBEAM Cluster getragen.

Kontakt
Max 25 MB