Passwort vergessen?  | 
 |  Passwort vergessen?  | 
Suche
  • Login
  • Login

Donnerstag, 21. September 2017, Ausgabe Nr. 38

Donnerstag, 21. September 2017, Ausgabe Nr. 38

Datenspeicherung

Softwaretechnologien für das Exabyte-Zeitalter

Von Ariane Rüdiger | 15. Dezember 2016 | Ausgabe 50

Gewaltige Datenmassen erfordern intelligente Lösungen, um die Hardware optimal zu nutzen. Etliche junge Firmen entwickeln sie.

S15 3sp rechts (2)
Foto: panthermedia.net/ludinko

Festplatte oder Flash: Aktuelle Speicherlösungen sind primär softwarebasiert und nutzen die Hardware unabhängig von der verwendeten Technik.

Barbara Murphy ist überzeugt: „Wenn wir im Zeitalter der Exa-, Zetta- und Yottabytes weiter heutige Speichertechnologie nutzen, werden wir schon im Jahr 2020 20-mal so viel Strom und mehr als dreimal so viel Stellplatz für die entsprechenden Geräte benötigen“, sagt die Marketingchefin des Start-ups Weka.io. Oft kommen die Gründer von solchen Start-ups aus Firmen wie IBM, Netapp oder EMC: Sie wissen, wo traditionelle Speichertechnologien haken.

Weka.io beispielsweise, gleichzeitig im Silicon Valley und in Israel zu Hause, hat mit seinen Erfahrungen bei den Speichergrößen ein Dateisystem entwickelt, das voll auf die technischen Möglichkeiten nichtflüchtiger Speicher zugeschnitten ist. Denn die Verwendung von Flash als Puffer-, Metadaten- oder Primärspeicher erlaubt weit schnellere Zugriffsmechanismen als bisher. Demnächst eröffnen über Ethernet angebundene NVMe-Module (Non-volatile-Memory über Ethernet) den direkten Speicherzugriff mit 100 Gbit/s und mehr.

Das Know-how der neuen Lösungen liegt in der Software. Das gilt für Weka.io genau wie für Noobaa, Reduxio oder Iguazio, um einige der fantasiereichen Namen zu nennen, die sich für die Speicherzukunft fit machen. Die neuen Algorithmen nutzen intelligent die Leistungsmöglichkeiten von Flash, Festplatte oder Cloud-Speichern und sind meist schon auf die nächste Generation der Speichertechnologien wie Phase Change Memory vorbereitet, mit denen in wenigen Jahren zu rechnen ist: Hardware ist Commodity, Software ist King.

Sehr weit geht hier Noobaa, dessen Software man sich derzeit kostenlos herunterladen und testen kann. Ihr Kern, das sogenannte Brain, läuft auf einem Flash-System, das die Gesamtlösung steuert. Sogenannte Demons werden auf vernetzten Systemen installiert, die ihren gerade freien Speicher für einen großen Objektspeicherpool unter Noobaa bereitstellen. Jeder Speicher mit zentraler Anbindung – von der Laptop-Festplatte bis zur Cloud-Ressource – kann eingebunden werden. Noobaa-Ressourcen geben den Speicherplatz aber sofort wieder frei, sobald die Applikationen auf dem dezentralen System ihn brauchen.

Sicherheitsfunktionen sind vielfach integraler Bestandteil solcher Lösungen. Bei Iguazio bildet eine spezielle, zentrale Firewall die oberste Schicht seiner Unified-Data-Lösung, die alle Datentypen erfasst. Basis ist ein vereinheitlichtes Datenmodell. Über die Firewall greifen dann alle Applikationen auf die Daten zu. Darunter liegt ein Unified Data Processor, eine Software, die alle erforderlichen Datendienste bereitstellt.

Das Management des Systems vereinfacht sich gravierend: Die neuen Algorithmen verteilen die Daten auf die Speicherschichten, analysieren das gesamte Geschehen im System und führen bei Bedarf Gegenmaßnahmen gegen Störungen durch oder schlagen solche vor. Das alles senkt die Zugriffszeiten und steigert die Ausfallsicherheit.

Interessant ist auch der Mechanismus, auf dem das Start-up Reduxio sein neues Speicherbetriebssystem Time OS aufbaut. Die Lösung zielt auf den Markt der besonders anspruchsvollen Unternehmensanwendungen, etwa Oracle- oder SQL-Datenbanken. Schon am Eingang der Box zerhackt diese Software alle hereinkommenden Daten in kleine, gleich große Stücke (Chunks) und prüft, ob das betreffende Stück schon im Datenspeicher vorhanden ist. Wenn nein, bekommt es einen einmaligen Namen, wandert in den Datenbestand. Dazu entsteht eine Art Etikett mit Zeitstempel und anderen Daten, die den jeweiligen Kontext beschreiben.

Die Etiketten wandern in eine sich stetig erweiternde Metadaten-bank auf schnellem Flash. Wenn ein entstandenes Datenstück bereits im Speicher vorhanden ist, wird dafür lediglich ein neues Etikett gebildet, das neben dem einmaligen Namen wiederum einen Zeitstempel und andere Kontextinformationen enthält.

Damit erreicht Reduxio zweierlei: Erstens werden alle Daten von Anfang an ohne weiteren Aufwand so weitgehend wie möglich dedupliziert, zweitens lässt sich anhand der bei jeder Änderung an den Daten neu hinzukommenden Etiketten in der Datenbank der Zustand der Daten extrem schnell sekundengenau wiederherstellen. Zusammen mit intelligenten Redundanzmechanismen für die Metadaten, die deren Zerstörung so gut wie ausschließen, ersetzt diese Idee Sicherheitsmaßnahmen wie Snapshots und den für sie nötigen Speicherraum und zeitraubende Wiederherstellungsläufe.

Eine Ausnahme zur kompletten Hardwareneutralität der Software-Speicherlösungen ist das Unternehmen Infinidat: Seine Manager gehen davon aus, dass die Festplatte dauerhaft eine Komponente auch höchstleistungsfähiger Speichersysteme bleiben wird. „Schon in wenigen Jahren werden Festplatten Kapazitäten von 20 TByte erreichen. Dann passen 50 PByte in eine unserer Infiniboxen“, sagt Gründer Moshe Yanai, der früher Systemarchitekturen bei EMC entwickelte. Infinibox heißt die Lösung von Infinidat. Die Geräte haben Zugriffszeiten von um die 100 μs und fallen durchschnittlich nur 3 s jährlich aus – 500 PByte in Form von rund 1000 Boxen wurden schon verkauft.jdb

stellenangebote

mehr