Ceph Cluster mit Raspberry PIs aufbauen: Unterschied zwischen den Versionen
KKeine Bearbeitungszusammenfassung |
KKeine Bearbeitungszusammenfassung |
||
| Zeile 21: | Zeile 21: | ||
===Systemeinstellungen=== | ===Systemeinstellungen=== | ||
==== Root-Passwort setzen ==== | |||
Zunächst sollte ein Passwort für den Root-Benutzer festgelegt und anschließend zu diesem gewechselt werden:<syntaxhighlight lang="bash"> | Zunächst sollte ein Passwort für den Root-Benutzer festgelegt und anschließend zu diesem gewechselt werden:<syntaxhighlight lang="bash"> | ||
sudo passwd root | sudo passwd root | ||
su - | su - | ||
</syntaxhighlight> | </syntaxhighlight> | ||
vi /etc/dhcpcd.conf | ====Feste IP einrichten (/etc/dhcpcd.conf)==== | ||
</syntaxhighlight> | Damit die Ceph-Nodes sich beim nächsten DHCP-Lease noch verständigen können setzen wir bei allen eine statische IP. | ||
Dafür editieren wir die Datei <code>/etc/dhcpcd.conf</code>:<syntaxhighlight lang="bash"> | |||
sudo vi /etc/dhcpcd.conf | |||
</syntaxhighlight>Dort suchen wir nun nach folgendem Eintrag:<syntaxhighlight lang="bash"> | |||
# Example static IP configuration: | |||
#interface eth0 | |||
#static ip_address=192.168.0.10/24 | |||
#static ip6_address=fd51:42f8:caae:d92e::ff/64 | |||
#static routers=192.168.0.1 | |||
#static domain_name_servers=192.168.0.1 8.8.8.8 fd51:42f8:caae:d92e::1 | |||
</syntaxhighlight>Nun werden die zur Konfiguration notwendigen Zeilen aktiviert, indem das # entfernt wird und die Adressen entsprechend des eigenen Netzwerkes angepasst. | |||
Am Ende sollte das Ganze in etwa so aussehen:<syntaxhighlight lang="bash"> | |||
# Example static IP configuration: | # Example static IP configuration: | ||
interface eth0 | interface eth0 | ||
| Zeile 34: | Zeile 51: | ||
static domain_name_servers=192.168.0.1 1.1.1.1 | static domain_name_servers=192.168.0.1 1.1.1.1 | ||
</syntaxhighlight> | </syntaxhighlight>Damit diese Einstellung wirksam wird, muss der Raspberry neu gestartet werden. | ||
'''Wenn ihr einen Fehler in der Konfiguration gemacht habt, kommt ihr danach nicht mehr per SSH auf euren Raspberry!'''<syntaxhighlight lang="bash"> | |||
sudo reboot | |||
</syntaxhighlight>Erledigt! | |||
Jetzt könnt ihr euch per SSH mit der festgelegten IP verbinden. | |||
====Hostnamen setzen (/etc/hostname)==== | |||
''Falls im Imager bereits der Hostname gesetzt wurde kann dieser Punkt übersprungen werden.'' | |||
Als Erstes setzen wir einen Hostnamen für unseren Proxmox Node. Dafür editieren wir die Datei <code>/etc/hostname</code>.<syntaxhighlight lang="bash"> | |||
sudo vi /etc/hostname | |||
</syntaxhighlight>Hier wird nun der gewünschte Hostname eingetragen. In meinem Fall habe ich mich für '''cephpi-a''' entschieden. | |||
Der zweite Raspberry wäre dementsprechend '''cephpi-b''', u.s.w. | |||
====Hosts eintragen (/etc/hosts)==== | |||
Nun werden auf '''jedem''' Raspberry die Hostnamen '''aller''' Cluster Nodes eingetragen. | |||
Dazu editieren wir die Datei <code>/etc/hosts</code>. | |||
Am Anfang sieht diese ungefähr so aus:<syntaxhighlight lang="bash"> | |||
127.0.0.1 localhost | |||
::1 localhost ip6-localhost ip6-loopback | |||
ff02::1 ip6-allnodes | |||
ff02::2 ip6-allrouters | |||
127.0.1.1 ClusterPi-1 | |||
</syntaxhighlight>Die IPv6 Einträge können ruhigen gewissen gelöscht werden. | |||
Am wichtigsten ist es aber den Eintrag '''"127.0.1.1 cephpi-a"''' zu entfernen, da der Cluster mit den absoluten Adressen arbeiten soll. <ref>https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Buster#Install_a_standard_Debian_Buster_.28amd64.29</ref> | |||
Danach werden die Hostnamen der Nodes hinzugefügt, so dass es am Ende so aussehen sollte:<syntaxhighlight lang="bash"> | |||
127.0.0.1 localhost | 127.0.0.1 localhost | ||
192.168.0.90 cephpi-a | 192.168.0.90 cephpi-a | ||
Version vom 16. Mai 2022, 20:25 Uhr
Installation
Hardware
Minimal
- 3x Raspbarry-Pi 4 4GB
- 3x microSD Karte (Betriebssystem)
- 3x SSD mit USB3.0 Adapter (OBD Storage)
Empfohlen
- 3x Raspbarry-Pi 4 8GB
- 6x SSD mit USB3.0 Adapter (Betriebssystem, OBD Storage)
Optional
- PoE HAT für Raspberry
Falls kein PoE HAT verwendet wird sollten die Raspberrys unbedingt anderweitig gekühlt werden!
SD Karten vorbereiten
- Die neuste Version von Raspberry Pi OS Lite (64 Bit) herunterladen.
- Die heruntergeladene *.zip-Datei kann direkt mit dem Raspberry Pi Imager auf die SD-Karte oder die SSD geschrieben werden.
Tipp: In der neusten Version vom Imager kann man vor dem Flashen bereits einige Einstellungen vornehmen (Hostname, SSH, Tastaturlayout, usw.)
Hier empfiehlt es sich insbesondere den SSH Zugang zu aktiveren und damit gleichzeitig einen Benutzer anzulegen.
Systemeinstellungen
Root-Passwort setzen
Zunächst sollte ein Passwort für den Root-Benutzer festgelegt und anschließend zu diesem gewechselt werden:
sudo passwd root
su -
Feste IP einrichten (/etc/dhcpcd.conf)
Damit die Ceph-Nodes sich beim nächsten DHCP-Lease noch verständigen können setzen wir bei allen eine statische IP.
Dafür editieren wir die Datei /etc/dhcpcd.conf:
sudo vi /etc/dhcpcd.conf
Dort suchen wir nun nach folgendem Eintrag:
# Example static IP configuration:
#interface eth0
#static ip_address=192.168.0.10/24
#static ip6_address=fd51:42f8:caae:d92e::ff/64
#static routers=192.168.0.1
#static domain_name_servers=192.168.0.1 8.8.8.8 fd51:42f8:caae:d92e::1
Nun werden die zur Konfiguration notwendigen Zeilen aktiviert, indem das # entfernt wird und die Adressen entsprechend des eigenen Netzwerkes angepasst. Am Ende sollte das Ganze in etwa so aussehen:
# Example static IP configuration:
interface eth0
static ip_address=192.168.0.90/24
#static ip6_address=fd51:42f8:caae:d92e::ff/64
static routers=192.168.0.1
static domain_name_servers=192.168.0.1 1.1.1.1
Damit diese Einstellung wirksam wird, muss der Raspberry neu gestartet werden. Wenn ihr einen Fehler in der Konfiguration gemacht habt, kommt ihr danach nicht mehr per SSH auf euren Raspberry!
sudo reboot
Erledigt!
Jetzt könnt ihr euch per SSH mit der festgelegten IP verbinden.
Hostnamen setzen (/etc/hostname)
Falls im Imager bereits der Hostname gesetzt wurde kann dieser Punkt übersprungen werden.
Als Erstes setzen wir einen Hostnamen für unseren Proxmox Node. Dafür editieren wir die Datei /etc/hostname.
sudo vi /etc/hostname
Hier wird nun der gewünschte Hostname eingetragen. In meinem Fall habe ich mich für cephpi-a entschieden.
Der zweite Raspberry wäre dementsprechend cephpi-b, u.s.w.
Hosts eintragen (/etc/hosts)
Nun werden auf jedem Raspberry die Hostnamen aller Cluster Nodes eingetragen.
Dazu editieren wir die Datei /etc/hosts.
Am Anfang sieht diese ungefähr so aus:
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
127.0.1.1 ClusterPi-1
Die IPv6 Einträge können ruhigen gewissen gelöscht werden.
Am wichtigsten ist es aber den Eintrag "127.0.1.1 cephpi-a" zu entfernen, da der Cluster mit den absoluten Adressen arbeiten soll. [1]
Danach werden die Hostnamen der Nodes hinzugefügt, so dass es am Ende so aussehen sollte:
127.0.0.1 localhost
192.168.0.90 cephpi-a
192.168.0.91 cephpi-b
192.168.0.92 cephpi-c
Quellen
https://docs.ceph.com/en/latest/rados/configuration/ceph-conf/
https://ceph.io/en/news/blog/2022/install-ceph-in-a-raspberrypi-4-cluster/