In Proxmox VE ist ein einzelner Knoten mit wenigen Befehlen in einen Cluster umgewandelt. Einen Produktionscluster aufzubauen, der nicht um Mitternacht von selbst neu startet, hängt dagegen davon ab, die Entscheidungen zu Netzwerk, Quorum und Speicher von Anfang an richtig zu treffen. Dieser Ratgeber behandelt für Systemadministratoren, die auf Proxmox VE umsteigen oder einen neuen Cluster aufbauen, den Entwurf des Corosync-Netzes, die Clustererstellung mit pvecm, das QDevice im Zwei-Knoten-Cluster, die Speicherwahl, die HA-Konfiguration und häufige Clusterstörungen.
Komponenten eines Proxmox-VE-Clusters
In einem Proxmox-VE-Cluster arbeiten drei Komponenten zusammen:
- Corosync: Mitgliedschafts- und Nachrichtenschicht zwischen den Knoten. Sie entscheidet, welcher Knoten zum Cluster gehört und ob das Quorum gegeben ist.
- pmxcfs (Proxmox Cluster File System): Unter
/etc/pveeingehängtes Konfigurationsdateisystem, das über Corosync auf alle Knoten repliziert wird. VM-Konfigurationen, Speicherdefinitionen und Benutzer liegen hier. Geht das Quorum verloren, wird dieses Dateisystem schreibgeschützt; Sie können keine VM starten und keine Konfiguration ändern. - HA-Manager (pve-ha-crm, pve-ha-lrm): Überwacht die unter HA gestellten Ressourcen, startet sie neu oder verschiebt sie auf einen anderen Knoten. Um die VMs eines nicht erreichbaren Knotens sicher an anderer Stelle starten zu können, nutzt er watchdog-basiertes Self-Fencing.
Die praktische Folge: Ist das Corosync-Netz instabil, ist das keine „Warnung“. Es folgen Quorumverlust, schreibgeschützte Konfiguration und, bei aktiver HA, der Selbstneustart der Knoten (Fencing). Der Cluster bricht über das Netzwerk zusammen.
Netzwerkentwurf: Corosync-, Speicher- und VM-Verkehr
Corosync verlangt niedrige und stabile Latenz. Der Bandbreitenbedarf ist gering, die Empfindlichkeit gegenüber Latenzschwankungen aber sehr hoch. Die Proxmox-Dokumentation empfiehlt ausdrücklich, dass Corosync-Verkehr nicht dieselbe physische Verbindung wie der Speicherverkehr nutzt. Empfohlene Trennung:
| Netz | Zweck | Empfehlung |
|---|---|---|
| Corosync link0 | Clusterkommunikation | Separate physische NIC, 1 GbE reicht |
| Corosync link1 | Redundanter Clusterpfad | Über andere NIC und anderen Switch |
| Speicher | Ceph, iSCSI, NFS | 10/25 GbE, separates VLAN oder physisches Netz |
| Verwaltung und Migration | Weboberfläche, Livemigration | Separates VLAN; für die Migration kann ein eigenes Netz definiert werden |
| VM-Verkehr | Gastnetze | VLAN-fähige Linux-Bridge, Bond |
Corosync (mit Kronosnet-Transport) unterstützt mehrere Links; fällt ein Link aus, wechselt es auf den anderen. Diese Redundanz über den eigenen Link-Mechanismus von Corosync statt über einen Bond aufzubauen, liefert vorhersehbarere Ergebnisse, weil LACP- und Failover-Zeiten eines Bonds nicht immer zur Toleranz von Corosync passen. Gibt es eine Firewall, prüfen Sie, dass zwischen den Knoten die UDP-Ports 5405–5412 für Corosync offen sind.
Der Name jedes Knotens muss auf seine IP im Clusternetz auflösen (/etc/hosts oder DNS), und auf allen Knoten muss Zeitsynchronisierung (chrony) laufen. Eine Zeitabweichung wirkt klein, stört aber den Beitritt.
Cluster erstellen und Knoten hinzufügen
Erstellen Sie den Cluster auf dem ersten Knoten. Die Parameter --link0 und --link1 legen fest, welche Adressen Corosync verwendet:
# Auf dem ersten Knoten (pve1)
pvecm create prod-cluster --link0 10.10.50.11 --link1 10.10.51.11
# Auf dem anderen Knoten (pve2), mit der Adresse eines Clusterknotens
pvecm add 10.10.50.11 --link0 10.10.50.12 --link1 10.10.51.12
# Statusprüfung
pvecm status
pvecm nodes
Auf dem hinzuzufügenden Knoten darf keine VM und kein Container vorhanden sein. Beim Beitritt wird der Inhalt von /etc/pve durch den des Clusters ersetzt, und Gäste mit gleicher ID kollidieren. Sichern Sie vorhandene Gäste zuerst und stellen Sie sie nach dem Beitritt wieder her. Alle Knoten müssen dieselbe Proxmox-VE-Hauptversion haben.
Derselbe Vorgang ist in der Weboberfläche über Datacenter → Cluster möglich. Um die Link-Adressen ausdrücklich anzugeben, ist die Kommandozeile klarer; in der Oberfläche kommt es häufig vor, dass standardmäßig die Verwaltungs-IP gewählt wird und Corosync im Verwaltungsnetz landet.
Quorum und QDevice bei zwei Knoten
In Corosync hat jeder Knoten standardmäßig eine Stimme; damit der Cluster arbeitet, ist mehr als die Hälfte der Stimmen nötig. Ein Drei-Knoten-Cluster toleriert den Ausfall eines Knotens (2 von 3 Stimmen). Fällt im Zwei-Knoten-Cluster ein Knoten aus, hat der verbleibende Knoten nur 1 von 2 Stimmen. Das Quorum ist weg.
Die Lösung ist ein QDevice, das außerhalb des Clusters läuft. Das QDevice ist der Dienst corosync-qnetd auf einem kleinen Linux-Rechner (das kann eine VM sein, sie darf aber nicht im Cluster laufen) und gibt dem Cluster eine zusätzliche Stimme:
# Auf dem QDevice-Host ausserhalb des Clusters
apt install corosync-qnetd
# Auf allen Knoten des Clusters
apt install corosync-qdevice
# Auf einem Knoten des Clusters
pvecm qdevice setup 10.10.50.20
pvecm status # Zeile "Qdevice" und Gesamtzahl der Stimmen pruefen
Der Befehl pvecm qdevice setup verbindet sich als root per SSH mit dem QDevice-Host und verteilt die Zertifikate; dieser Zugang muss während der Einrichtung offen sein, danach können Sie die SSH-Kennwortanmeldung wieder einschränken. Die Proxmox-Dokumentation empfiehlt das QDevice für Cluster mit gerader Knotenzahl. In einem Cluster mit ungerader Knotenzahl kann die zusätzliche Stimme das Clusterverhalten in manchen Ausfallszenarien unvorhersehbar machen.
Vergleich der Speicheroptionen
Proxmox VE unterstützt viele Speichertypen. Die richtige Wahl für den Cluster hängt von der Knotenzahl, der vorhandenen Server- und Speicherinfrastruktur (SAN) und dem akzeptablen Datenverlust (RPO) ab:
| Option | Gemeinsam genutzt? | Stärke | Einschränkung |
|---|---|---|---|
| Ceph RBD | Ja (verteilt) | HCI, Snapshots, Selbstheilung | Mindestens 3 Knoten, schnelles Netz und schnelle Festplatten |
| ZFS + Replikation | Nein (asynchrone Kopie) | Einfach, lokale Leistung | Bei Übernahme gehen Daten nach der letzten Replikation verloren |
| LVM over iSCSI/FC | Ja | Vorhandenes SAN wird genutzt | Snapshot-Unterstützung versionsabhängig, testen |
| NFS (qcow2) | Ja | Einfache Einrichtung, Snapshots | NAS kann ein Single Point of Failure sein |
In Ceph-Pools gilt standardmäßig size=3, min_size=2: Alle Daten werden in drei Kopien gehalten, und solange zwei Kopien erreichbar sind, läuft die E/A weiter. Fällt in einem Drei-Knoten-Ceph-Cluster ein Knoten aus, bleiben die Daten erreichbar, es gibt aber keinen weiteren Knoten, auf dem die dritte Kopie neu aufgebaut werden könnte; der Cluster läuft so lange „degraded“. Für dauerhafte Ausfallsicherheit bevorzugen Sie vier oder mehr Knoten. Trennen Sie das Ceph-Netz unbedingt von Corosync.
ZFS-Replikation (pvesr) ist für kleine Cluster mit zwei bis drei Knoten praktisch; das Intervall lässt sich im Minutenbereich einstellen. Im Zusammenspiel mit HA gehen bei einer Übernahme die Änderungen nach der letzten Replikation verloren. Lassen Sie diesen RPO schriftlich von der fachlich verantwortlichen Person akzeptieren. Zum Architekturvergleich von HCI und SAN siehe den Entscheidungsratgeber HCI oder klassisches SAN.
HA-Konfiguration
Um eine VM unter HA zu stellen, muss ihr Speicher gemeinsam genutzt (oder repliziert) sein. Die Ressource wird auf der Kommandozeile so hinzugefügt:
ha-manager add vm:101 --state started --max_restart 1 --max_relocate 1
ha-manager status
Welche VM welchen Knoten bevorzugt, wurde in älteren Versionen mit HA-Gruppen definiert; mit Proxmox VE 9 wurde diese Struktur in das Modell der „HA Rules“ (Affinitätsregeln für Knoten und Ressourcen) überführt. Konfigurieren Sie gemäß der Dokumentation Ihrer Version. Verwenden Sie beim Leeren eines Knotens für Wartungsarbeiten den HA-Wartungsmodus: Der Befehl ha-manager crm-command node-maintenance enable pve2 verschiebt die HA-Ressourcen auf die anderen Knoten.
Testen Sie das Fencing-Verhalten unbedingt. Ziehen Sie das Netzwerkkabel eines Knotens oder schalten Sie ihn ab, messen Sie, nach wie vielen Sekunden die VMs auf dem anderen Knoten starten, und halten Sie das fest. Die Wiederherstellungszeit, die Sie der fachlich verantwortlichen Person nennen, ist dieser Messwert, nicht der Wert aus der Broschüre. Ungetestete HA ist keine HA.
Häufige Clusterprobleme
- Zufällige Neustarts von Knoten: Eine häufige Ursache ist, dass die Corosync-Verbindung dieselbe NIC wie Speicher- oder Sicherungsverkehr nutzt. In der Hauptzeit der Sicherung steigt die Latenz, der Knoten verliert das Quorum, und der HA-Watchdog löst Fencing aus. Suchen Sie in der Ausgabe von
journalctl -u corosyncnach Link-Verlusten; fallen die Zeitstempel ins Sicherungsfenster, ist die Diagnose weitgehend gestellt. - Clusterbeitritt fehlgeschlagen: Namensauflösung, Zeitabweichung, unterschiedliche Hauptversion oder vorhandene Gäste auf dem Knoten.
- /etc/pve schreibgeschützt: Kein Quorum. Prüfen Sie die Stimmenzahl mit
pvecm status; verwenden Siepvecm expectednicht, bevor das Netzwerkproblem gelöst ist. - Knoten aus dem Cluster entfernen: Nach dem Abschalten des Knotens wird auf einem verbleibenden Knoten
pvecm delnode pve3ausgeführt. Der entfernte Knoten darf nicht mit derselben Identität wieder ans Netz; eine Neuinstallation wird empfohlen. - Reihenfolge der Updates: Aktualisieren Sie die Knoten einzeln und leeren Sie vorher die VMs; führen Sie bei Hauptversions-Upgrades das Prüfskript von Proxmox (z. B.
pve8to9) aus und fahren Sie nicht fort, solange Warnungen offen sind.
Zum Vergleich von Proxmox VE mit anderen Plattformen siehe den Beitrag Plattformwahl nach VMware, für Unterstützung bei Einrichtung und Betrieb die Seite Dienste für Linux- und Open-Source-Plattformen. Ausführliche Referenz ist das Proxmox-VE-Administrationshandbuch.
Häufig gestellte Fragen
Wie viele Knoten braucht ein Proxmox-VE-Cluster mindestens?
Ein Cluster lässt sich mit zwei Knoten aufbauen; damit das Quorum beim Ausfall eines Knotens nicht verloren geht, ist jedoch ein QDevice außerhalb des Clusters nötig. Soll Ceph eingesetzt werden, werden mindestens drei, für dauerhafte Ausfallsicherheit vier oder mehr Knoten empfohlen.
Darf der Corosync-Verkehr dieselbe NIC wie das Verwaltungsnetz nutzen?
In kleinen Umgebungen mit wenig Verkehr funktioniert das; teilt er sich die Verbindung jedoch mit Speicher-, Sicherungs- oder Livemigrationsverkehr, schwankt die Latenz, und ein Quorumverlust ist möglich. Legen Sie mindestens einen Corosync-Link auf eine separate physische NIC und definieren Sie einen zweiten Link.
Kommt es bei HA mit ZFS-Replikation zu Datenverlust?
Das kann passieren. ZFS-Replikation arbeitet asynchron; fällt ein Knoten unerwartet aus, startet die VM auf dem anderen Knoten mit dem Festplattenstand der letzten erfolgreichen Replikation, und spätere Änderungen gehen verloren. Ist dieser RPO nicht akzeptabel, verwenden Sie Ceph oder gemeinsam genutzten Speicher.
Kann ein Knoten mit vorhandenen VMs dem Cluster hinzugefügt werden?
Nein. Beim Beitritt wird die Konfiguration des Knotens durch die des Clusters ersetzt, und es kann zu ID-Konflikten kommen. Sichern Sie die Gäste zuerst und stellen Sie sie nach dem Clusterbeitritt mit neuen IDs wieder her.