
Demand-based Data Stream Gathering, Processing, and Transmission: Efficient Solutions for Real-Time Data Analytics in the Internet of Things
In diesem Buch wird eine End-to-End-Architektur für die bedarfsorientierte Erfassung, Verarbeitung und Übertragung von Datenströmen vorgestellt. Das Internet der Dinge (IoT) besteht aus Milliarden von Geräten, die eine Wolke aus vernetzten Sensorknoten bilden.
Diese Sensorknoten liefern eine große Anzahl von Datenströmen mit riesigen Mengen an Sensordaten. Sensordaten in Echtzeit ermöglichen verschiedene Anwendungen wie verkehrsabhängige Navigation, Maschinenüberwachung und Hausautomatisierung. Aktuelle Datenstromverarbeitungspipelines sind bedarfsorientiert, d.
h.
sie sammeln, übertragen und verarbeiten so viele Daten wie möglich. Im Gegensatz dazu verwendet eine bedarfsorientierte Verarbeitungspipeline Anforderungsspezifikationen von Datenkonsumenten, wie z.
B. Fehlertoleranzen und Latenzbeschränkungen, um Ressourcen zu sparen. Unsere Lösung vereinheitlicht die Art und Weise, wie Anwendungen ihre Datenanforderungen ausdrücken, d.
h. ihre Anforderungen in Bezug auf ihre Eingabeströme. Diese Vereinheitlichung ermöglicht ein Multiplexing der Datenanforderungen aller gleichzeitig laufenden Anwendungen.
Auf Sensorknoten planen wir Sensorlesungen auf der Grundlage der Datenanforderungen aller Anwendungen, was in unseren Experimenten mit realen Sensordaten bis zu 87 % an Sensorlesungen und Datenübertragungen einspart. Unsere bedarfsbasierte Steuerungsschicht optimiert die Datenerfassung von Tausenden von Sensoren.
Wir führen die Zeitkohärenz als grundlegendes Datenmerkmal ein. Die zeitliche Kohärenz ist die Verzögerung zwischen der ersten und der letzten Sensorablesung, die Werte zu einem Tupel beitragen. Eine groß angelegte Parameterexploration zeigt, dass unsere Lösung auf eine große Anzahl von Sensoren skalierbar ist und auch unter unterschiedlichen Latenz- und Kohärenzbedingungen zuverlässig funktioniert.
Bei Stream-Analyse-Systemen befassen wir uns mit dem Problem der effizienten Fensteraggregation.
Wir stellen ein allgemeines Aggregationsverfahren zur Verfügung, das sich an vier Hauptmerkmale der Arbeitslast anpasst: Strom(un)ordnung, Aggregationsarten, Fenstertypen und Fenstermaße. Unsere Experimente zeigen, dass unsere Lösung alternative Lösungen um eine Größenordnung im Durchsatz übertrifft, was Kosten vermeidet.