Terminologie

In diesem Guide verwenden wir die folgende Terminologie:

VM

Virtuelle Maschine - Der virtuelle Computer auf dem Proxmox VE Host.

Node

Ein Node beschreibt einen Proxmox VE-Server innerhalb eines Clusters.

Cluster

Mehrere Proxmox VE-Instanzen, die über die Cluster-Funktionalität verbunden werden.

Replikation (ZFS)

Eine Replikation kopiert einen Datensatz dauerhaft auf einen anderen Node, sodass ein Failover durchgeführt werden kann, zudem beschleunigt es Migrationen.

SAN

Storage Area Network – Ein Speichernetzwerk, auf das direkt zugegriffen werden kann, beispielsweise über iSCSI.

HA

High availability - Hochverfügbarkeit. Ein automatisiertes Failover, das Ihre virtuellen Maschinen oder Container am Leben hält, selbst wenn ein Node ausfällt.

In Kombination mit einem SAN oder einer Replikation kann ein Node ausfallen und die Maschine wird auf einem anderen Node neu gestartet.

Failover

Eine automatische Ausfallsicherheit.

Vorbereitung & Informationen

Bevor wir beginnen können, benötigen wir Folgendes:

• Wenn Sie nur eine Replikation benötigen, reichen zwei Proxmox-Server aus, drei oder mehr für einen HA-Cluster.
• Stellen Sie sicher, dass alle Ihre Proxmox-Server im selben Netzwerk verfügbar sind.

Über die Anzahl der Nodes

Es gibt ein sogenanntes Split-Brain-Szenario. Solltest du ein HA-Cluster mit 2 Nodes betreiben, könntest du hier Probleme bekommen.

Das Split-Brain-Szenario tritt auf, wenn ein Server ausfällt und beide Server im Glauben sind, dass der andere nicht mehr verfügbar ist. HA schaltet dann die Maschinen an, und ist nicht in der Lage den Status zu kommunizieren.

Das könnte dafür sorgen, dass mehrere gleiche IP-Adressen im Netzwerk genutzt werden, welches zu inkonsistenten Daten, oder sogar zu kaputten Datenbanken führen kann.

Solltest du 3 Nodes oder mehr betreiben, kannst du das Szenario vermeiden, da mindestens zwei Nodes den Ausfall bestätigen müssen, bevor virtuelle Maschinen gestartet werden.

Kann ich einen Node vom Cluster trennen?

Die Antwort ist ja, es ist jedoch nicht empfohlen. Wenn du ein sauberes Setup haben willst, installiere deine VE-Instanzen neu.

Du kannst Anleitungen dazu in der Proxmox Dokumentation finden.

Netzwerk

Um die besten Ergebnisse zu erzielen, solltest du deine Nodes am gleichen Switch anschließen und moderne Netzwerkkabel einsetzen.

In den meisten Anwendungsfällen reichen CAT 7 Kabel.

Das Cluster erstellen

Klicke oben links auf Datacenter, und dann auf Cluster.

Jetzt kannst du ein neues Cluster erstellen, indem du auf Create Cluster klickst.

Jetzt gebe einen sinnvollen Namen ein, am besten beschreibt es dein Cluster:

Wenn es funktioniert hat, siehst du TASK OK, dann kannst den Task Viewer schließen:

Super! Jetzt hast du ein Cluster. Mit den nächsten Schritten fügst du weitere Nodes deinem Cluster hinzu.

Ein Node hinzufügen

Auf deinem primären Node, wo du dein Cluster erstellt hast, klicke auf "Join Information".

Klicke auf Copy Information.

Du kannst dich jetzt auf deine anderen Proxmox Nodes verbinden. Dann navigiere zu dem Cluster Menü vom Datacenter Tab.

Klicke "Join Cluster" und füge die Informationen ein.

Gebe das root Kennwort ein vom initialen Node, und wähle den Link aus.

Dann klicke Join '<cluster name>'.

Wenn alles funktioniert hat, sollte es so aussehen:

Lade die Seite neu, es kann sein, dass du eine Zertifikatswarnung bekommst.

Observiere, dass du auf deinem ersten Node nun den zweiten Node managen kannst.

Wiederhole den Vorgang nun für alle Nodes, welche dem Cluster zugehören sollen.

Super, dein Cluster sollte nun ungefähr so aussehen:

Behalte im Hinterkopf, dass du noch HA konfigurieren musst, sodass deine Maschine ein Failover machen. (3 Nodes oder mehr).

Wenn du diesen Guide für eine Replikation befolgst, bist du fast fertig.

Solltest du kein SAN haben, dann solltest du eine Replikation konfigurieren, für jede virtuelle Maschine/Container.

HA konfigurieren (Ab 3 Nodes)

Wie zuvor in dem Guide erwähnt, konfiguriere folgendes nur, wenn du 3 oder mehr Nodes im Cluster hast.

Ansonsten könntest du in das Split-Brain-Szenario laufen, welches zu inkonsistenten Daten führen kann.

Bitte beachte, dass HA nur funktioniert, wenn du entweder eine funktionierende Replikation eingerichtet hast, oder einen geteilten Speicher benutzt (SAN).

Ressourcen hinzufügen

Klicke oben links auf Datacenter, und navigiere zu HA.

Du wirst sehen, dass keine Ressourcen für HA zugewiesen sind.

Für jede virtuelle Maschine solltest du HA konfigurieren.

Klicke Add und wähle eine virtuelle Maschine aus, welche du für HA konfigurieren willst.

Du kannst Optionen einstellen, wie Max. Restart oder Max. Relocate.

Für die meisten Setups reichen die Standard-Optionen.

Max. Restart: Die maximale Anzahl an Versuche für einen Neustart auf einem Node, nachdem der Start fehlgeschlagen ist.

Max. Relocate: Die maximale Anzahl an Versuche für Verschiebungen, sollte der Start fehlgeschlagen sein.

Gruppen

Mit Gruppen kannst du Zonen definieren, welche nur bestimmte Nodes beinhalten.

Du kannst eine Gruppe auswählen, wenn du HA für eine virtuelle Maschine konfigurierst.

Das wird dir auch erlauben, mit Prioritäten über verschiedene Nodes zu verteilen.

Behalte im Hinterkopf, dass wenn du eine höher Priorität zuweist, dass dieser Node dann benutzt wird. Lässt du den Node weg, wird der vermieden.

restricted: Diese Option erlaubt es zugeteilte Ressourcen auf jeden Node zu gehen, sollten alle Gruppen-Mitglieder Offline sein. Sie werden zurück-migriert, wenn ein Gruppen-Mitglied wieder online kommt.

nofailback: Mit dieser Option kannst du vermeiden, dass zurück-migriert wird, sobald ein Node wieder online kommt.

Hier ist ein Beispiel einer HA Gruppe, welche dem Node 3, die höchste Priorität gibt.

Vergewissere dich, dass du mindestens eine Replikation eingerichtet hast, oder ein SAN benutzt. Ansonsten wird der Failover nicht funktionieren, und möglicherweise musst du von Hand den vorherigen Zustand manuell wiederherstellen. (Siehe Fehler Sektion vom Guide).

Replikation

Warnung: Das funktioniert nur mit ZFS-Speicher.

Replikation ist gut, wenn man keinen geteilten Speicher benutzt (SAN).

Die Replikation wird versuchen, die Daten zwischen den Nodes zu synchronisieren.

Für ein 2-Node-Cluster, sollte das auf jeden Fall konfiguriert werden, um eine schnellere Migration zu erlauben.

Replikation einrichten

Klicke auf eine VM, und wähle dann Replication aus:

Klicke Add, dann wähle deine Ziele aus, du kannst das für alle Nodes wiederholen.

Klicke auf Create.

Deine virtuelle Maschine sollte sich nun replizieren.

Migrieren

Du kannst entweder über HA Gruppen automatisch migrieren, oder manuell über Rechtsklick auf die virtuelle Maschine, mit Migrate migrieren.

Dieser Prozess wird schneller gehen, sofern eine Replikation auf dem Ziel-Node vorhanden ist.

Fehler

Es gibt einige Dinge, die schieflaufen können, hier sind ein paar aufgelistet:

HA-Failover ohne Festplatte auf dem Ziel-Node

Das kann passieren, wenn nicht genug Zeit vorhanden war, für die erste Replikation abzuschließen, oder wenn diese nie eingerichtet wurde.

Um das Problem zu lösen, muss zuerst geprüft werden, ob auf dem Node wo die gefailte virtuelle Maschine ist, die Festplatte vorhanden ist, ansonsten muss die auf den anderen Nodes gefunden werden.

Sobald du weißt, wo die Festplatte liegt, gehe zu dem Node wo die gefailte VM ist, sofern die Festplatte auf dem Node fehlt, entferne die virtuelle Maschine von HA, dann lösche die Festplatte aus der virtuellen Maschine, welche auf dem Node nicht mehr vorhanden ist.

Jetzt migriere die virtuelle Maschine zurück zum originalen Node, dort, wo auch die Festplatte liegt. Du kannst die VM ID mit dem Namen der Festplatte abgleichen, um sicherzugehen.

Gehe zu der Konsole vom Node über die shell und tippe folgendes ein: "qm rescan". Du solltest nun wieder in der Lage sein, die Festplatte der virtuellen Maschine hinzuzufügen.

Vergesse nicht, die virtuelle Maschine wieder in einer HA Gruppe aufzunehmen.

Migration friert virtuelle Maschine ein

Solltest du den CPU-Typ host benutzten, für deine virtuelle Maschine, und die Hardware ist zwischen den Nodes verschieden, dann könnte deine online Migration fehlschlagen.

Das tritt auf, weil die CPUs zu verschieden sind.

Um das zu vermeiden, nutze eine virtuelle CPU wie x86-64-v3 oder x86-64-v4, welche man nimmt, hängt von der Hardware ab.

Hier ist ein externer Artikel, welcher beschreibt, wie man den richtigen CPU-Typ ermittelt: https://www.yinfor.com/2023/06/how-i-choose-vm-cpu-type-in-proxmox-ve.html.