November 10 2014

Windows 2012 R2 Daten Deduplizierung

Mit dem Windows Server 2012 (R2) hat ein neues Feature einzug gehalten, die Data Deduplication. Diese habe ich nun mal getestet und möchte hier ein paar Kleinigkeiten dazu schreiben.

Allgemeines:

  • Data Deduplication ist Clusterfähig (jedoch keine Cluster Shared Volumes)
  • Komprimierte und/oder verschlüsselte Daten können nicht dedupliziert werden
  • Weder das System noch das Boot Volume können dedupliziert werden
  • Das Dateisystem muss NTFS sein
  • Dateien kleiner als 32KB werden nicht deduliziert

Funktionsweise:

Alle Datein werden in kleine Segmente variabler Größe (32 bis 128 kB) zerlegt und im Chunk Store abgelegt. Doppelte Segmente werden verworfen, stattdessen wird an dieser Stelle ein Reparse Point auf dem Dateisystem angelegt welcher auf das entsprechende Segment im Chunk store referenziert. Die Deduplizierung läuft als Hintergrundprozess und evalziert die Daten alle 60 Minuten im Standard.

Vorabtest:

Nach der Server Feature Installation steht einem das Tool „ddpeval.exe“ zur Verfügung mit welchem man (auch auf einem 2008 Server) vorab prüfen kann, ob sich die Deduplizierung lohnen wird. Das Tool zieht ca. 30% CPU und 250 MB Hauptspeicher, bei großen Datenmengen sollte man das ggf. über Nacht laufen lassen. Siehe Technet.

Installation:

Das Dedup Feature kann über den Server Manager oder über die PowerShell nachinstalliert werden:

import-module ServerManager
add-windowsfeature fs-data-deduplication

Im Anschluss muss die Deduplizierung pro Volume eingestellt werden, das geht bequem über die GUI oder PowerShell:

dedup1dedup2

An dieser Stelle kann man gleich eine Throughput Optimization mit einplanen, diese lasse ich 1x pro Woche für maximal 12 Stunden laufen.

Im Anschluss kann man die Deplizierung via PowerShell anstarten:

Start-DedupJob D: -Type optimization -Wait

Das dies etwas dauern und Resourcen verschlingen wird sollte klar sein… ;-)

 

PowerShell:

Es gibt folgende CMDlets:

dedup4

 

Wartung:

Die geplanten Wartungsaufgaben befinden sich in der Task Scheduler Library unter \Microsoft\Deduplication.

Neben dem manuell hinzugefügten ThroghputOptimization Job gibt es noch eine BackgroundOptimization sowie WeeklyGarbageCollection und WeeklyScrubbing.