Effiziente Datendeduplizierung in Hadoop

Hadoop wird häufig für die Speicherung massiv verteilter Daten verwendet. Obwohl es sehr fehlertolerant und skalierbar ist und auf handelsüblicher Hardware läuft, bietet es keine effiziente und optimierte Datenspeicherlösung. Wenn Benutzer Dateien mit identischem Inhalt in Hadoop hochladen, werden alle Dateien im HDFS (Hadoop Distributed File System) gespeichert, auch wenn der Inhalt identisch ist, was zu einer Duplizierung des Inhalts und damit zu einer Verschwendung von Speicherplatz führt. Datendeduplizierung ist ein Prozess zur Reduzierung der erforderlichen Speicherkapazität, da nur die eindeutigen Dateninstanzen gespeichert werden. Der Prozess der Datendeduplizierung wird häufig in Dateiservern, Datenbankmanagementsystemen, Backup-Speichern und vielen anderen Speicherlösungen eingesetzt. Eine geeignete Deduplizierungsstrategie nutzt den Speicherplatz auf den begrenzten Speichergeräten ausreichend aus. Hadoop bietet keine Lösung zur Datendeduplizierung. In dieser Arbeit wurde das Modul zur Deduplizierung in das Hadoop-Framework integriert, um eine optimierte Datenspeicherung zu erreichen.