Kommt im Hyper-V-Cluster die Beschwerde „die VMs sind langsam“, ist meist nicht die CPU, sondern der Speicherpfad die erste Stelle, die man prüft. Über welches Protokoll und welches Netz die VM-Festplatten bereitgestellt werden, bestimmt direkt Leistung, Ausfallverhalten und täglichen Betriebsaufwand. Dieser Beitrag vergleicht iSCSI, SMB3 und Fibre Channel für Hyper-V-Cluster mit externem Speicher und zeigt die Konfiguration von MPIO, SMB Multichannel und Cluster Shared Volumes (CSV) mit PowerShell-Beispielen. Lesen Sie ihn zusammen mit dem Beitrag Hyper-V-Failover-Cluster-Planung für die allgemeinen Entwurfskontrollen des Clusters.
Speicherzugriffsmodelle im Hyper-V-Cluster
Ein Hyper-V-Cluster greift auf zwei grundlegenden Wegen auf VM-Dateien zu:
- Blockspeicher (iSCSI, Fibre Channel, SAS): Das Array stellt LUNs allen Knoten bereit; die LUNs werden mit NTFS oder ReFS formatiert und im Cluster als CSV hinzugefügt. Die VMs liegen unter dem Pfad
C:\ClusterStorage\VolumeN. - Dateispeicher (SMB 3.x): Die VM-Dateien liegen in einer Freigabe auf einem Dateiserver (meist Scale-Out File Server oder SMB3-fähiges NAS); die Hyper-V-Hosts greifen per UNC-Pfad zu.
Das dritte Modell, Storage Spaces Direct (S2D), nutzt keinen externen Speicher, sondern bündelt die lokalen Festplatten der Hosts. Die Architekturentscheidung zwischen HCI und klassischem SAN steht im Entscheidungsratgeber HCI und SAN; hier geht es nur um das Zugriffsprotokoll für externen Speicher.
iSCSI: Netzwerkentwurf und MPIO
iSCSI überträgt Blockspeicher über Standard-Ethernet (TCP 3260). Richtig entworfen, liefert es ausreichende Leistung und Redundanz für Unternehmensarbeitslasten. Falsch entworfen, wird es zur Quelle von Verzögerungen, die alle VMs im Cluster gleichzeitig treffen, und das Problem wird oft an der falschen Stelle gesucht, in der Anwendung oder im Hypervisor.
Grundlegende Entwurfsregeln:
- Auf jedem Host mindestens zwei dedizierte physische Ports für iSCSI; diese Ports werden nicht mit VM-Verkehr oder Verwaltungsnetz geteilt.
- Die beiden Ports werden nicht im Team betrieben; Redundanz und Lastverteilung liefert MPIO. Jeder Port liegt in einem eigenen Subnetz (z. B. 10.20.1.0/24 und 10.20.2.0/24), nach Möglichkeit an einem eigenen Switch.
- Auf den iSCSI-Schnittstellen wird kein Standardgateway definiert und die DNS-Registrierung deaktiviert; die Bindungen Client for Microsoft Networks und File and Printer Sharing können entfernt werden.
- Werden Jumbo Frames verwendet, wird auf Host-NIC, Switchports und Speicherarray dieselbe MTU eingestellt. Ein einziger fehlender Punkt verursacht Fragmentierungs- oder Verbindungsprobleme.
Ein häufiger iSCSI-Fehler ist eine an einer Stelle des Pfades vergessene MTU. Kleine Pakete kommen durch, große bleiben hängen. Senden Sie zur Prüfung mit ping -f -l 8972 ein großes, nicht fragmentiertes Paket vom Host zum Array; kommt keine Antwort, fehlt ein Glied in der Kette.
MPIO-Einrichtung und iSCSI-Verbindung erfolgen mit PowerShell so (Adressen sind Beispiele):
Install-WindowsFeature -Name Multipath-IO # Neustart erforderlich
Enable-MSDSMAutomaticClaim -BusType iSCSI
Set-MSDSMGlobalDefaultLoadBalancePolicy -Policy RR
Set-Service msiscsi -StartupType Automatic; Start-Service msiscsi
New-IscsiTargetPortal -TargetPortalAddress 10.20.1.50 -InitiatorPortalAddress 10.20.1.11
New-IscsiTargetPortal -TargetPortalAddress 10.20.2.50 -InitiatorPortalAddress 10.20.2.11
$t = (Get-IscsiTarget).NodeAddress
Connect-IscsiTarget -NodeAddress $t -TargetPortalAddress 10.20.1.50 `
-InitiatorPortalAddress 10.20.1.11 -IsMultipathEnabled $true -IsPersistent $true
Connect-IscsiTarget -NodeAddress $t -TargetPortalAddress 10.20.2.50 `
-InitiatorPortalAddress 10.20.2.11 -IsMultipathEnabled $true -IsPersistent $true
Richten Sie sich bei der Lastausgleichsrichtlinie (Round Robin, Least Queue Depth usw.) nach der Empfehlung des Speicherherstellers; manche Arrays setzen ein eigenes DSM oder eine bestimmte Richtlinie voraus. Prüfen Sie die Anzahl der Pfade mit mpclaim -s -d: Für jede LUN muss die erwartete Anzahl an Pfaden sichtbar sein. Ist nur ein Pfad sichtbar, gibt es kein MPIO.
SMB3: Multichannel, RDMA und Scale-Out File Server
Das mit Windows Server 2012 eingeführte SMB 3.0 unterstützt die Ablage von Hyper-V-VM-Dateien auf einer Dateifreigabe. Zwei Funktionen machen dieses Szenario stark:
- SMB Multichannel: Gibt es mehrere NICs, öffnet SMB automatisch mehrere Verbindungen, bündelt die Bandbreite und hält die Sitzung bei einem NIC-Ausfall aufrecht. Eine zusätzliche Konfiguration ist nicht nötig.
- SMB Direct (RDMA): Auf NICs mit iWARP-, RoCE- oder InfiniBand-Unterstützung werden Daten weitgehend unter Umgehung der CPU übertragen. Bei RoCE ist auf Switchseite eine DCB/PFC-Konfiguration erforderlich; iWARP hat diese Anforderung nicht. Halb eingerichtetes PFC ist schlimmer, als RDMA gar nicht zu aktivieren.
Für Hochverfügbarkeit auf der Dateiseite wird die Rolle Scale-Out File Server (SOFS) verwendet. SOFS stellt die Freigabe auf einem CSV gleichzeitig von allen Dateiserverknoten bereit; dank „continuously available“-Freigaben setzen die Hyper-V-Hosts die E/A bei einem Knotenausfall unterbrechungsfrei fort. Der Kern der Einrichtung:
Add-ClusterScaleOutFileServerRole -Name SOFS01
New-Item -ItemType Directory -Path C:\ClusterStorage\Volume1\Shares\VMs
New-SmbShare -Name VMs -Path C:\ClusterStorage\Volume1\Shares\VMs `
-FullAccess 'CORP\HV01$','CORP\HV02$','CORP\HV-CLU$','CORP\HyperV-Admins' `
-ContinuouslyAvailable $true
Set-SmbPathAcl -ShareName VMs # überträgt die Freigabeberechtigungen auf die NTFS-ACL des Ordners
Den Computerkonten der Hyper-V-Hosts und dem Clusternamen müssen sowohl Freigabe- als auch NTFS-Berechtigungen erteilt werden. Werden VMs von einem entfernten Verwaltungsrechner erstellt, muss die eingeschränkte Kerberos-Delegierung (Constrained Delegation) konfiguriert sein; andernfalls erhalten Sie „Zugriff verweigert“ und verlieren Stunden, weil die Berechtigungen korrekt aussehen. Prüfung:
Get-SmbMultichannelConnection
Get-SmbClientNetworkInterface
Get-NetAdapterRdma | Where-Object Enabled
Auch SMB3-fähige NAS-Systeme von Drittanbietern können verwendet werden. Prüfen Sie, dass sie die für Hyper-V benötigten SMB-3-Funktionen (insbesondere Continuous Availability) unterstützen und der Hersteller sie für Hyper-V freigegeben hat.
Wann Fibre Channel sinnvoll ist
Fibre Channel erfordert ein separates physisches Netz (HBA, FC-Switch, Zoning). Einrichtung und Betrieb verlangen zusätzliches Fachwissen; im Gegenzug erhält man eine verlustfreie Struktur mit vorhersehbarer Latenz, die den Speicherverkehr vollständig vom Ethernet trennt. FC ist in der Regel sinnvoll, wenn:
- im Unternehmen bereits eine laufende FC-Fabric und ein Team, das sie verwalten kann, vorhanden sind
- sehr latenzempfindliche Datenbanken mit hoher E/A dasselbe Array nutzen
- Gast-VMs LUNs direkt sehen müssen: Die Hyper-V-Funktion Virtual Fibre Channel gibt der VM per NPIV einen virtuellen HBA (HBA und Switch müssen NPIV unterstützen)
Bei neu aufgebauten kleinen und mittleren Clustern liefern 25-GbE-iSCSI oder SMB3 den Nutzen von FC für die Server- und Systeminfrastruktur meist mit geringerem Betriebsaufwand. Bei FC entsteht ein Großteil der Störungen durch Zoning und inkompatible HBA-Firmware; gibt es niemanden, der die Firmware-Matrix verfolgt, bauen Sie kein FC auf.
Vergleichstabelle der Protokolle
| Merkmal | iSCSI | SMB3 | Fibre Channel |
|---|---|---|---|
| Transport | Ethernet, TCP | Ethernet, TCP oder RDMA | Separates FC-Netz |
| Pfadredundanz | MPIO | SMB Multichannel | MPIO |
| Darstellung im Cluster | CSV (Block) | UNC-Freigabe | CSV (Block) |
| Zusätzliche Hardware | Dedizierte NICs | RDMA optional | HBA, FC-Switch |
| Betriebsaufwand | Mittel | Niedrig bis mittel | Hoch |
| Typischer Fehler | Teaming, MTU-Konflikt | Berechtigungen, Delegierung | Zoning, Firmware |
Verhalten von Cluster Shared Volumes
CSV ermöglicht es allen Knoten, gleichzeitig auf dieselbe LUN zu schreiben. Jedes CSV hat einen Koordinatorknoten (Owner); Metadatenoperationen (etwa Erstellen oder Erweitern von Dateien) laufen über den Koordinator, normale Lese- und Schreibvorgänge gehen dagegen von jedem Knoten direkt zum Array (Direct I/O).
Verliert ein Knoten den direkten Zugriff auf die LUN, wird die E/A über das Clusternetz an den Koordinator umgeleitet (Redirected I/O). Die VMs laufen weiter, die Leistung sinkt deutlich. Niemand erhält einen Alarm. Überwachen Sie den Zustand so:
Get-ClusterSharedVolume | Select-Object Name, OwnerNode, State
Get-ClusterSharedVolumeState | Select-Object Name, Node, StateInfo, FileSystemRedirectedIOReason, BlockRedirectedIOReason
Der Wert StateInfo muss auf allen Knoten Direct lauten. Ein Detail: Mit ReFS formatierte CSVs auf einem SAN laufen im dateisystemumgeleiteten Modus; deshalb wird für CSVs auf externem Blockspeicher NTFS empfohlen. Dass ReFS auf einem CSV im direkten Modus läuft, ist dem S2D-Szenario vorbehalten. Eine SAN-LUN mit dem Gedanken „das neue Dateisystem ist besser“ mit ReFS zu formatieren, ist in der Praxis eine klassische Ursache für Leistungsbeschwerden.
Planen Sie die Anzahl der CSVs nach der Knotenzahl: Mehrere CSVs anzulegen und deren Besitz auf die Knoten zu verteilen, verhindert, dass sich die Metadatenlast auf einem Knoten bündelt.
Prüfung und Leistungstest
Führen Sie vor der Inbetriebnahme zwei Arten von Prüfungen durch:
- Clustervalidierung:
Test-Clusterwird einschließlich der Speichertests ausgeführt. Da Speichertests Festplatten offline nehmen können, zielen Sie im produktiven Cluster nur auf neu hinzugefügte und noch nicht genutzte Festplatten. - Lasttest: Führen Sie mit dem Microsoft-Werkzeug DiskSpd ein realistisches Profil auf dem CSV aus und betrachten Sie nicht den Mittelwert, sondern die Latenzverteilung:
diskspd.exe -c50G -d120 -b8K -o16 -t8 -r -w30 -Sh -L C:\ClusterStorage\Volume1\test.dat
Wiederholen Sie den Test mit beiden Pfaden und mit nur einem Pfad (bei abgeschaltetem iSCSI-Port); stellen Sie sicher, dass die E/A bei einem Pfadausfall nicht abbricht und die Latenz akzeptabel bleibt. Bewahren Sie diese Ergebnisse auf; kommt später die Beschwerde „früher war es schnell“, sind sie Ihre einzige konkrete Referenz. Bei der Auswahl von Speicherarray und Serverhardware können wir im Rahmen unserer Hardwareberatung, bei Clusterentwurf und Inbetriebnahme im Rahmen unseres Dienstes Virtualisierung und Datenmanagement zusammenarbeiten. Zu virtuellem Switch und Verkehrstrennung siehe den Beitrag Hyper-V SET und Entwurf virtueller Netzwerke.
Häufig gestellte Fragen
Kann ich für iSCSI NIC-Teaming verwenden?
Microsoft empfiehlt für iSCSI-Verkehr MPIO statt NIC-Teaming. MPIO verwaltet die Speicherpfade auf Ebene der iSCSI-Sitzung; es verteilt die Last und sorgt bei einem Pfadausfall für einen schnellen Wechsel.
Ist SMB3-Speicher langsamer als iSCSI?
Nicht zwangsläufig. Mit SMB Multichannel und insbesondere RDMA-fähigen NICs kann SMB3 eine mit Blockprotokollen vergleichbare Leistung liefern. Das Ergebnis bestimmen Netzwerkentwurf, Dateiserver und Kapazität der Festplatten; messen Sie in Ihrer eigenen Umgebung mit DiskSpd.
Warum wechselt CSV in den Modus Redirected I/O?
CSV wechselt in den umgeleiteten Modus, wenn der direkte Pfad eines Knotens zur LUN unterbrochen ist, während bestimmter Sicherungsvorgänge oder wenn auf einem SAN ReFS verwendet wird. Bei der Diagnose schaut man zuerst auf die Ursachenfelder in der Ausgabe von Get-ClusterSharedVolumeState.
Ist Fibre Channel in einem kleinen Cluster nötig?
In der Regel nicht. Gibt es keine vorhandene FC-Infrastruktur und kein FC-Team, liefern iSCSI oder SMB3 über ein dediziertes Netz ausreichende Leistung bei geringerem Betriebsaufwand. FC ist sinnvoll in Umgebungen mit vorhandener Fabric oder mit sehr latenzempfindlichen Arbeitslasten.