Ceph Cluster mit Raspberry PIs aufbauen
Installation
Hardware
Minimal
- 3x Raspbarry-Pi 4 4GB
- 3x microSD Karte (Betriebssystem)
- 3x SSD mit USB3.0 Adapter (OBD Storage)
Empfohlen
- 3x Raspbarry-Pi 4 8GB
- 6x SSD mit USB3.0 Adapter (Betriebssystem, OBD Storage)
Optional
- PoE HAT für Raspberry
Falls kein PoE HAT verwendet wird sollten die Raspberrys unbedingt anderweitig gekühlt werden!
SD Karten vorbereiten
- Die neuste Version von Raspberry Pi OS Lite (64 Bit) herunterladen.
- Die heruntergeladene *.zip-Datei kann direkt mit dem Raspberry Pi Imager auf die SD-Karte oder die SSD geschrieben werden.
Tipp: In der neusten Version vom Imager kann man vor dem Flashen bereits einige Einstellungen vornehmen (Hostname, SSH, Tastaturlayout, usw.)
Hier empfiehlt es sich insbesondere den SSH Zugang zu aktiveren und damit gleichzeitig einen Benutzer anzulegen.
Systemeinstellungen
Root-Passwort setzen
Zunächst sollte ein Passwort für den Root-Benutzer festgelegt und anschließend zu diesem gewechselt werden:
sudo passwd root
su -
SSH via root erlauben
vi /etc/ssh/sshd_config
# Den Eintrag finden
#PermitRootLogin prohibit-password
# Aktivieren und auf 'yes' ändern
PermitRootLogin yes
Feste IP einrichten (/etc/dhcpcd.conf)
Damit sich die Ceph-Nodes nach dem nächsten DHCP-Lease noch verständigen können, setzen wir bei allen eine statische IP.
Dafür editieren wir die Datei /etc/dhcpcd.conf:
sudo vi /etc/dhcpcd.conf
Dort suchen wir nun nach folgendem Eintrag:
# Example static IP configuration:
#interface eth0
#static ip_address=192.168.0.10/24
#static ip6_address=fd51:42f8:caae:d92e::ff/64
#static routers=192.168.0.1
#static domain_name_servers=192.168.0.1 8.8.8.8 fd51:42f8:caae:d92e::1
Nun werden die zur Konfiguration notwendigen Zeilen aktiviert, indem das # entfernt wird und die Adressen entsprechend des eigenen Netzwerkes angepasst. Am Ende sollte das Ganze in etwa so aussehen:
# Example static IP configuration:
interface eth0
static ip_address=192.168.0.90/24
#static ip6_address=fd51:42f8:caae:d92e::ff/64
static routers=192.168.0.1
static domain_name_servers=192.168.0.1 1.1.1.1
Damit diese Einstellung wirksam wird, muss der Raspberry neu gestartet werden. Wenn ihr einen Fehler in der Konfiguration gemacht habt, kommt ihr danach nicht mehr per SSH auf euren Raspberry!
sudo reboot
Erledigt!
Jetzt könnt ihr euch per SSH mit der festgelegten IP verbinden.
Hostnamen setzen (/etc/hostname)
Falls im Imager bereits der Hostname gesetzt wurde kann dieser Punkt übersprungen werden.
Als Erstes setzen wir einen Hostnamen für unseren Proxmox Node. Dafür editieren wir die Datei /etc/hostname.
sudo vi /etc/hostname
Hier wird nun der gewünschte Hostname eingetragen. In meinem Fall habe ich mich für cephpi-a entschieden.
Der zweite Raspberry wäre dementsprechend cephpi-b, u.s.w.
Hosts eintragen (/etc/hosts)
Nun werden auf jedem Raspberry die Hostnamen aller Cluster Nodes eingetragen.
Dazu editieren wir die Datei /etc/hosts.
Am Anfang sieht diese ungefähr so aus:
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
127.0.1.1 ClusterPi-1
Die IPv6 Einträge können ruhigen gewissen gelöscht werden.
Am wichtigsten ist es aber den Eintrag "127.0.1.1 cephpi-a" zu entfernen, da der Cluster mit den absoluten Adressen arbeiten soll. [1]
Danach werden die Hostnamen der Nodes hinzugefügt, so dass es am Ende so aussehen sollte:
127.0.0.1 localhost
192.168.0.90 cephpi-a
192.168.0.91 cephpi-b
192.168.0.92 cephpi-c
Abhängigkeiten installieren
apt update
apt upgrade
Die Abhängigkeiten 'lvm2' und 'Docker' installieren:
apt install lvm2
curl -sSL https://get.docker.com | sh
systemctl enable --now docker
Ceph installieren (1. Node)
Diese Installation ist nur beim ersten Node notwendig!
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/pacific/src/cephadm/cephadm
chmod +x cephadm
./cephadm bootstrap --mon-ip 192.168.0.90
Hinweis zum Monitoring:
Zum deaktivieren einfach --skip-monitoring-stack ans Ende des Befehls hängen.
Weitere Nodes installieren
Alle Punkte unter Systemeinstellungen
Ceph SSH Zertifikat auf die anderen Nodes übertragen:
Auf dem 1. Node ausführen
Als Adresse die anderen Nodes auswählen, z.B. cephpi-b
ssh-copy-id -f -i /etc/ceph/ceph.pub root@cephpi-b
Quellen
https://docs.ceph.com/en/latest/rados/configuration/ceph-conf/
https://ceph.io/en/news/blog/2022/install-ceph-in-a-raspberrypi-4-cluster/