Dimensionierung virtueller Maschinen: Fehler bei vCPU, Arbeitsspeicher und NUMA

Warum verlangsamen zu viele vCPUs eine VM? Die richtige Reihenfolge der Dimensionierung unter Hyper-V und vSphere mit vCPU:pCPU-Verhältnis, NUMA-Grenze, dynamischem Arbeitsspeicher und CPU-Ready-Messung.
Technische Zusammenfassung
Technologie
Hyper-V, VMware vSphere, NUMA, Dynamic Memory, PowerShell
Thema
Dimensionierung von vCPU, Arbeitsspeicher und NUMA für VMs
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Erfahrung in der Verwaltung von Hyper-V- oder vSphere-Hosts
  • Kenntnisse im Lesen von Leistungsindikatoren
In diesem Beitrag8 Abschnitte

Hinter der Beschwerde „der Server ist leistungsstark, aber die VM langsam“ steckt meist keine fehlende Hardware, sondern falsche Dimensionierung. Bei P2V werden die 16 Kerne der physischen Maschine unverändert an die VM übergeben, der Arbeitsspeicher wird „sicherheitshalber“ verdoppelt, und nach einer Weile konkurriert der Host mit sich selbst. Im Folgenden behandeln wir die Entscheidungen zu vCPU, Arbeitsspeicher und NUMA unter Hyper-V und VMware vSphere danach, wie der Hypervisor Ressourcen zuteilt; Ziel ist, die Konsolidierung zu erhöhen, ohne die Antwortzeiten zu verschlechtern.

Warum zu viele vCPUs eine VM verlangsamen

Das Gastbetriebssystem sieht eine vCPU wie einen physischen Kern. In Wirklichkeit ist sie ein Thread, den der Hypervisor nacheinander auf logischen Prozessoren ausführt. Will eine vCPU laufen, muss der Hypervisor einen freien logischen Prozessor finden; ist der Host ausgelastet, wartet die vCPU in der Warteschlange. Diese Wartezeit ist im Gast nicht sichtbar. Die verantwortliche Person der Anwendung sieht nur Langsamkeit.

Zu viele vCPUs vergrößern diese Wartezeit auf drei Wegen:

  • Scheduling-Druck: Eine VM mit 8 vCPUs braucht gleichzeitig mehr freie logische Prozessoren als eine mit 2 vCPUs. Der „Relaxed Co-Scheduling“-Mechanismus von vSphere begrenzt, wie weit sich die vCPUs voneinander entfernen; werden vorauseilende vCPUs angehalten, zeigt esxtop das als %CSTP (Co-Stop).
  • Zusatzlast im Gast: Auch untätige vCPUs erzeugen Timer-Interrupts, Interprozessor-Interrupts (IPI) und Spinlock-Wartezeiten. Eine Anwendung, die nicht stark mehrfädig ist, profitiert nicht von zusätzlichen vCPUs, trägt aber diese Last.
  • Überschreiten der NUMA-Grenze: Wird eine VM so groß, dass sie nicht mehr in einen NUMA-Knoten passt, wird auf einen Teil des Arbeitsspeichers über den entfernten Knoten zugegriffen; die Latenz steigt.

Die Zahl der vCPUs bestimmen die tatsächlich parallel genutzten Threads der Anwendung und die gemessene Spitzenlast. „Der physische Server hatte 16 Kerne“ ist keine Messung. Es ist nicht einmal eine Begründung.

vCPU:pCPU-Verhältnis und Konsolidierung

Das vCPU:pCPU-Verhältnis ist die Summe der allen VMs auf dem Host zugewiesenen vCPUs geteilt durch die Zahl der physischen Kerne. Ein universell „sicheres“ Verhältnis, das für jede Server- und Systeminfrastruktur gilt, gibt es nicht, denn entscheidend sind nicht die zugewiesenen, sondern die gleichzeitig laufwilligen vCPUs. Büroanwendungen, die den ganzen Tag wenig Last haben, vertragen ein hohes Verhältnis; Build-Server, SQL Server oder RDS-Sitzungshosts, die die CPU dauerhaft nutzen, verlangen ein niedriges.

Beim Lesen des Verhältnisses gibt es an drei Stellen häufige Irrtümer:

  • Hyper-Threading: Die Zahl der logischen Prozessoren erscheint doppelt so hoch wie die der physischen Kerne, doch zwei Threads teilen sich die Ausführungseinheiten desselben Kerns. Rechnen Sie die Kapazität über physische Kerne und betrachten Sie HT als Reserve.
  • Hyper-V Core Scheduler: Der seit Windows Server 2019 standardmäßige Kern-Scheduler vergibt die beiden SMT-Threads eines Kerns nur an virtuelle Prozessoren derselben VM. Das ist eine Sicherheitsentscheidung; deshalb nutzt es die Ressourcen effizienter, der VM die SMT-Topologie mitzugeben (Set-VMProcessor -HwThreadCountPerCore) und eine gerade Zahl an vCPUs zuzuweisen.
  • Ausfallszenario: Fällt im Cluster ein Host aus, werden seine VMs auf die anderen verschoben. Bewerten Sie das Verhältnis nicht im Normalzustand, sondern im N-1-Zustand. Die Clusterseite haben wir im Beitrag zur Hyper-V-Failover-Cluster-Planung gesondert beschrieben.

Ein Verhältnis, das auf dem Papier entspannt aussieht, ergibt beim Verlust eines Knotens ein völlig anderes Bild. Rechnen Sie mit N-1.

NUMA und virtuelles NUMA

In Mehrsockelservern hat jeder Prozessor eigene angebundene Speicherkanäle; Prozessor und direkt angebundener Speicher bilden zusammen einen NUMA-Knoten. Bei manchen neueren Prozessoren lassen sich sogar innerhalb eines Sockels mehrere NUMA-Knoten definieren (Einstellungen wie Sub-NUMA Clustering oder „NUMA per Socket“ im BIOS). Der Zugriff auf lokalen Speicher ist schneller als der Zugriff auf den Speicher des anderen Knotens.

Die Regel ist einfach: Wenn möglich, sollen vCPUs und Arbeitsspeicher einer VM in einen einzigen NUMA-Knoten passen. Auf einem Host mit 16 Kernen und 256 GB je Knoten kann eine VM mit 12 vCPUs / 128 GB in einem Knoten laufen; eine VM mit 24 vCPUs erstreckt sich dagegen zwangsläufig über zwei Knoten. Häufig wird beim Hosttausch auch übersehen, dass sich die NUMA-Einstellung im BIOS geändert hat; prüfen Sie beim Wechsel auf neue Hardware als Erstes die Knotenzahl.

Virtuelles NUMA unter Hyper-V

Ist eine VM größer als ein physischer Knoten, stellt Hyper-V dem Gast eine virtuelle NUMA-Topologie bereit; das Gastbetriebssystem und NUMA-fähige Anwendungen (wie SQL Server) richten die Speicherplatzierung danach aus. Das kritische Detail: Bei VMs mit aktiviertem dynamischem Arbeitsspeicher steht virtuelles NUMA nicht zur Verfügung; der Gast sieht einen einzigen Knoten. Deshalb wird bei großen Datenbank-VMs statischer Arbeitsspeicher bevorzugt.

# NUMA-Knoten des Hosts und Speicher je Knoten anzeigen
Get-VMHostNumaNode

# NUMA-Spanning-Einstellung des Hosts (Standard: True)
Get-VMHost | Select-Object NumaSpanningEnabled

# NUMA-Grenzen der VM
Get-VMProcessor -VMName SQL01 |
  Select-Object Count, MaximumCountPerNumaNode, MaximumCountPerNumaSocket

Wird NUMA-Spanning deaktiviert, lässt sich eine VM, die nicht in einen Knoten passt, nicht starten. Prüfen Sie vor dem Ändern der Einstellung, dass alle VMs zur Knotengröße passen; sonst erleben Sie beim nächsten Neustart eine Überraschung.

vNUMA unter vSphere

vSphere stellt VMs mit mehr als 8 vCPUs standardmäßig eine vNUMA-Topologie bereit. Wird bei einer VM CPU-Hot-Add aktiviert, wird vNUMA deaktiviert. Bei großen VMs Hot-Add „für den Fall der Fälle“ einzuschalten, heißt, die NUMA-Fähigkeit mit einem scheinbar kostenlosen Klick zu verlieren. Der Wert „Cores per Socket“ beeinflusst Lizenzierung und Topologieanzeige im Gast; da sein Zusammenhang mit vNUMA je nach vSphere-Version variiert, prüfen Sie das aktuelle Verhalten in der Broadcom-Dokumentation Ihrer Version.

Zur Prüfung im Gast verwenden Sie unter Linux numactl --hardware oder lscpu, unter Windows Sysinternals Coreinfo -n.

Arbeitsspeicher: dynamischer Arbeitsspeicher, Ballooning und Überbuchung

Die beiden Hypervisoren gehen beim Arbeitsspeicher unterschiedliche Wege:

Thema Hyper-V vSphere
Grundmechanismus Dynamischer Arbeitsspeicher (Startup, Minimum, Maximum, Buffer) Ballooning, TPS, Komprimierung, Swap
Zuweisung über den physischen Speicher hinaus Kann den zugewiesenen gesamten physischen Speicher nicht überschreiten Kann den konfigurierten gesamten physischen Speicher überschreiten
Rückgewinnungsmethode Beim Vergrößern Memory Hot-Add, beim Zurückholen der Balloon-Treiber im Gast Balloon-Treiber (VMware Tools), bei Bedarf Host-Swap
Untergrenze und Priorität Minimum RAM und Speichergewichtung (Priorität) Reservierung und Anteile (Shares)

Unter Hyper-V startet der dynamische Arbeitsspeicher die VM mit dem Startup-Wert, vergrößert ihn je nach Bedarf des Gasts und Buffer-Einstellung bis zum Maximum und nimmt ihn unter Druck bis zum Minimum zurück. Ist beim Neustart nicht so viel freier Speicher wie der Startup-Wert verfügbar, greift Smart Paging, und es wird die Festplatte genutzt. Das rettet nur den Start. Für den Dauerbetrieb ist es nicht gedacht.

Unter vSphere ist eine Überbuchung des Arbeitsspeichers möglich; gerät der Host unter Druck, greifen zuerst Ballooning, dann Komprimierung und zuletzt der Hypervisor-Swap. Da der Hypervisor-Swap erfolgt, ohne dass bekannt ist, welche Seiten für den Gast wichtig sind, bricht die Leistung stark ein. Sehen Sie im Überwachungsdashboard „swapped“ oder „compressed“ Speicher, ist die Diskussion beendet: Die Speicherkapazität des Hosts reicht nicht aus.

Einschränkungen auf Anwendungsseite beeinflussen die Dimensionierung direkt. Exchange Server wird mit dynamischem Arbeitsspeicher nicht unterstützt. SQL Server kann mit dynamischem Arbeitsspeicher laufen; da eine SQL-Instanz ohne Einstellung von max server memory jedoch dazu neigt, den zugewiesenen Speicher festzuhalten, bleibt Ballooning wirkungslos. Bei großen SQL- und Anwendungsservern liefern statischer Arbeitsspeicher und ein realistischer Wert für max server memory vorhersehbarere Ergebnisse.

# Hyper-V: Beispiel für dynamischen Arbeitsspeicher auf einem Dateiserver
Set-VMMemory -VMName FS01 -DynamicMemoryEnabled $true `
  -StartupBytes 4GB -MinimumBytes 2GB -MaximumBytes 8GB -Buffer 20

# Statischer Arbeitsspeicher für einen SQL-Server (bei ausgeschalteter VM)
Set-VMMemory -VMName SQL01 -DynamicMemoryEnabled $false -StartupBytes 64GB

Welche Indikatoren man betrachtet

Die CPU-Auslastung, die der Task-Manager auf einem Hyper-V-Host anzeigt, ist nur die Sicht der Stammpartition, also des Host-Betriebssystems. Sie zeigt nicht die tatsächliche Prozessorlast des Hosts. Die Diagnose „der Host steht bei 20 %, das Problem liegt in der VM“ entsteht oft genau hier und ist falsch. Die richtige Quelle sind die Hypervisor-Indikatoren:

Plattform Indikator / Metrik Aussage
Hyper-V Hyper-V Hypervisor Logical Processor(_Total)\% Total Run Time Tatsächliche Auslastung der physischen Prozessoren
Hyper-V Hyper-V Hypervisor Virtual Processor(*)\CPU Wait Time Per Dispatch Wartezeit der vCPU bis zur Ausführung (Einheit 100 ns)
Hyper-V Hyper-V Dynamic Memory VM(*)\Average Pressure Verhältnis des Speicherbedarfs der VM zum zugewiesenen Speicher
vSphere CPU Ready (%RDY), Co-Stop (%CSTP) Zeit, in der die vCPU bereit war, aber warten musste
vSphere Balloon-, Swapped-, Compressed-Speicher Speicherdruck auf dem Host

In den vCenter-Leistungsdiagrammen wird CPU Ready als Summe in Millisekunden angezeigt. Beispielrechnung zur Umrechnung in Prozent: Im Echtzeitdiagramm beträgt das Abtastintervall 20 Sekunden; ein Ready-Wert von 1.000 ms bedeutet 1.000 / 20.000 = 0,05, also 5 % dieses Intervalls. Dieser Wert ist die Summe aller vCPUs der VM; teilen Sie ihn zur Bewertung durch die Zahl der vCPUs. Betrachten Sie nicht einen einzelnen Momentwert, sondern den Trend während der Geschäftszeiten.

# Auf dem Hyper-V-Host 12 Messwerte im Abstand von 5 s erfassen
Get-Counter -Counter `
 '\Hyper-V Hypervisor Logical Processor(_Total)\% Total Run Time',
 '\Hyper-V Hypervisor Virtual Processor(*)\CPU Wait Time Per Dispatch' `
 -SampleInterval 5 -MaxSamples 12

Schwellenwerte und Alarmregeln auf Hostebene finden Sie im Beitrag zu Metriken der Serverüberwachung.

Startwerte nach Art der Arbeitslast

Die folgenden Werte sind vernünftige Annahmen für die erste Bereitstellung, solange keine Messung vorliegt; sie sind kein Standard. Jede VM wird nach den ersten zwei bis vier Wochen Messung neu bewertet.

Workload vCPU Arbeitsspeicher Hinweis
Domänencontroller / DNS 2 4–8 GB Die AD-Datenbank sollte in den Arbeitsspeicher passen
Dateiserver 2 4–8 GB Dynamischer Arbeitsspeicher geeignet
Anwendungs- / Webserver 2–4 8–16 GB Herstelleranforderung maßgeblich
SQL Server (mittel) 4–8 32–64 GB Statischer Arbeitsspeicher, ein NUMA-Knoten
RDS-Sitzungshost 8–16 32–64 GB Skaliert nach Benutzerzahl

Bei kernbasiert lizenzierten Produkten wie SQL Server bestimmt die Zahl der vCPUs direkt die Lizenzkosten. Zu viele vCPUs sind hier sowohl ein Leistungs- als auch ein Budgetfehler. Die Lizenzseite haben wir im Beitrag zur Windows-Server-Lizenzierung bei Virtualisierung gesondert untersucht.

Neudimensionierung: Prüfreihenfolge

  1. Bestandsaufnahme: Für jede VM werden zugewiesene vCPUs, Arbeitsspeicher, Status des dynamischen Arbeitsspeichers und NUMA-Platzierung auf dem Host aufgelistet.
  2. Mindestens zwei Wochen messen: Mit Daten, die Spitzenzeiten wie Monatsende und Sicherungsfenster abdecken, werden CPU-Auslastung im Gast, Prozessorwarteschlangenlänge und Hypervisor-Wartezeitindikatoren erfasst.
  3. Kandidaten bestimmen: VMs mit vielen vCPUs, deren Spitzen-CPU-Auslastung dauerhaft niedrig bleibt, sind Kandidaten zum Verkleinern; solche mit hoher Wartezeit und hoher Auslastung im Gast sind Kandidaten zum Vergrößern. Ist die Auslastung im Gast niedrig, die Wartezeit aber hoch, liegt das Problem nicht in der VM, sondern im Host.
  4. Schrittweise ändern: Halbieren Sie die vCPUs nicht auf einmal, sondern verkleinern Sie um eine Stufe. Unter Hyper-V wird die vCPU-Zahl bei ausgeschalteter VM geändert; planen Sie das Wartungsfenster entsprechend.
  5. Prüfen: Dieselben Indikatoren und die Antwortzeiten der Anwendung vor und nach der Änderung werden verglichen, das Ergebnis im Änderungsprotokoll festgehalten.
# Schnelle Bestandsaufnahme der zugewiesenen Ressourcen
Get-VM | Select-Object Name, ProcessorCount,
  @{n='StartupGB';e={$_.MemoryStartup/1GB}},
  @{n='AssignedGB';e={[math]::Round($_.MemoryAssigned/1GB,1)}},
  DynamicMemoryEnabled | Sort-Object ProcessorCount -Descending

# vCPUs reduzieren (bei ausgeschalteter VM)
Stop-VM -Name APP02
Set-VMProcessor -VMName APP02 -Count 4
Start-VM -Name APP02

Häufige Fehler

  • Kern- und Speicherwerte des physischen Servers nach P2V unverändert auf die VM übertragen.
  • Die CPU-Auslastung des Hosts im Task-Manager der Stammpartition ablesen.
  • Bei einer großen SQL-VM dynamischen Arbeitsspeicher aktivieren und dadurch unbemerkt das virtuelle NUMA abschalten.
  • Die Kapazität für den Normalzustand planen und den Verlust eines Clusterknotens nicht einrechnen.
  • VMs mit nur einer vCPU ausstatten: Bei Updates oder Virenscans drängt sich das ganze System auf einen Kern; für die meisten Serverarbeitslasten sind mindestens 2 vCPUs gesünder.

Für eine Kapazitäts- und Leistungsanalyse vorhandener Hosts besuchen Sie unsere Seite Infrastrukturberatung und Systemoptimierung, für den Plattformentwurf unseren Dienst Virtualisierung und Datenmanagement. Die offiziellen Empfehlungen von Microsoft stehen im Leitfaden zur Leistungsoptimierung von Hyper-V.

Häufig gestellte Fragen

Darf die Zahl der vCPUs einer VM die Zahl der physischen Kerne übersteigen?

Einer einzelnen VM können nicht mehr vCPUs zugewiesen werden, als der Host logische Prozessoren hat. Dank Hyper-Threading ist ein Wert über der Zahl der physischen Kerne möglich, aber nicht empfehlenswert; wollen alle vCPUs der VM gleichzeitig laufen, konkurriert sie mit sich selbst. Dass die Summe der vCPUs auf dem Host die physischen Kerne übersteigt, ist dagegen normal; genau das ist Konsolidierung.

Ist es bei hohem CPU-Ready-Wert die Lösung, der VM vCPUs hinzuzufügen?

In der Regel nicht. CPU Ready zeigt, dass eine vCPU zur Ausführung bereit ist, aber keinen physischen Prozessor findet. Zusätzliche vCPUs erhöhen den Wartebedarf. Der richtige Schritt ist, VMs mit zu vielen vCPUs zu verkleinern, Last auf einen anderen Host zu verteilen oder die Hostkapazität zu erhöhen.

Für welche Server ist dynamischer Arbeitsspeicher ungeeignet?

Exchange Server wird mit dynamischem Arbeitsspeicher nicht unterstützt. Bei großen SQL-Server-VMs wird statischer Arbeitsspeicher bevorzugt, weil dynamischer Arbeitsspeicher das virtuelle NUMA deaktiviert und SQL dazu neigt, Speicher festzuhalten. Variable Lasten wie Dateiserver, Webserver und Verwaltungsserver sind gute Kandidaten für dynamischen Arbeitsspeicher.

Wie erkenne ich, ob eine VM in einen NUMA-Knoten passt?

Unter Hyper-V sehen Sie mit Get-VMHostNumaNode Kerne und Arbeitsspeicher je Knoten, mit Get-VMProcessor die Grenzen der VM. Ist die vCPU-Zahl der VM kleiner als die physischen Kerne des Knotens und ihr Arbeitsspeicher kleiner als der Knotenspeicher, passt sie in einen Knoten. Die im Gast mit Coreinfo -n oder numactl –hardware angezeigte Knotenzahl ist die zweite Bestätigung.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Systembetreuung

Serverinstallation, Konfiguration, Störungsbehebung und regelmäßige Wartung. Active Directory, Virtualisierung und Datensicherung werden mit derselben Disziplin betrieben.

Wissenszentrum

Weitere Beiträge