Wat is Ceph?

Ceph is een open-source softwareplatform voor opslag van data. Ceph biedt object-, block- en file-storage in een gedistribueerd computernetwerk. Het is ontworpen om zeer schaalbaar en fouttolerant te zijn. Ceph biedt de mogelijkheid om duizenden storageservers te gebruiken om petabytes tot exabytes aan gegevens te beheren.

Hoe werkt Ceph?

Ceph verdeelt data over meerdere storageservers in een cluster, waardoor redundantie en hoge beschikbaarheid worden gewaarborgd. De kern van Ceph's architectuur is de Reliable Autonomic Distributed Object Store (RADOS), die de basis vormt waarop Ceph's blok- en bestandsopslagdiensten zijn gebouwd. In meer detail werkt dit als volgt:

1. Gedistribueerde Objectopslag met RADOS

• Object Storage Daemons (OSD's): Het OSD-proces in een Ceph-cluster zorgt ervoor dat de data correct opgeslagen wordt. OSD's zijn verantwoordelijk voor het opslaan van gegevens, het afhandelen van gegevensreplicatie, herstel en herverdeling. OSD's communiceren onderling met andere OSD's om bijvoorbeeld te borgen dat data gerepliceerd aanwezig is. In de regel is er één OSD per fysiek storagemedium, zoals een harde schijf.
   
• Monitor Nodes (MON's): Deze houden de status van het cluster bij, inclusief de OSD-map, monitor-map en de algemene gezondheid van het cluster. MON's coördineren de activiteiten van OSD's en zorgen voor consensus over het cluster membership en configuratie.
   
• Managers (MGR's): Deze nodes bieden extra monitoring- en interfacefunctionaliteiten, zoals het verzamelen van statistieken en het afhandelen van dashboarddiensten.

2. Het CRUSH-algoritme

Het CRUSH-algorithme, oftewel Controlled Replication Under Scalable Hashing (CRUSH), wordt door Ceph gebruikt om de plaatsing van data dynamisch te bepalen. In tegenstelling tot traditionele opslagsystemen die vertrouwen op een centrale lookup table voor dataplaatsing, stelt CRUSH clients in staat om te berekenen waar gegevens moeten worden opgeslagen en opgehaald, waardoor bottlenecks en schaalbaarheidsbeperkingen worden geëlimineerd.

CRUSH maakt gebruik van de CRUSH-map om te bepalen hoe data verdeeld wordt over het cluster op basis van vooraf gedefinieerde policies en failure domains. Het is een hiërarchische weergave van de fysieke en logische topologie van het cluster, inclusief datacenters, racks, hosts en opslagapparaten.

3. Datareplicatie en fouttolerantie

• Replicatiepools: Ceph organiseert gegevens in pools, elk met hun eigen replicatie-instellingen. Een pool kan bijvoorbeeld worden geconfigureerd om drie replicaties van elk gegevensobject te behouden voor redundantie.
   
• Erasure Coding: Als alternatief voor replicatie ondersteunt Ceph erasure coding, waarbij gegevens in fragmenten worden opgesplitst en gecodeerd met redundante gegevensstukken, waardoor de opslagoverhead wordt verminderd terwijl fouttolerantie wordt behouden.
   
• Self healing en recovery: Als een OSD faalt, detecteert Ceph de storing automatisch en worden gegevens opnieuw gerepliceerd naar andere OSD's om het gewenste redundantieniveau te behouden. Het systeem monitort continu en herverdeelt gegevens om een optimale verdeling te garanderen.

4. Unified storage interfaces

Unified storage interfaces betekent dat een enkel platform meerdere storage access methoden ondersteunt, zowel object-, block- als file-storage. In het geval van Ceph houdt dit in dat je hetzelfde storagecluster kunt gebruiken om data op verschillende manieren aan te bieden, zonder een ander storage systeem nodig te hebben. Hiervoor maakt Ceph gebruik van:

• Ceph Block Device (RBD): Biedt block storage die kan worden gekoppeld aan fysieke of virtuele machines en verschijnt als een gewone schijf. Het wordt vaak gebruikt met virtualisatieplatforms zoals OpenStack en Kubernetes.
   
• Ceph File System (CephFS): Een POSIX-conform gedistribueerd filesystem dat bovenop RADOS is gebouwd, waardoor gebruikers met Ceph-opslag kunnen werken met standaard bestandscommando's.
   
• Ceph Object Storage: Biedt object storage interfaces die compatibel zijn met Amazon S3- en OpenStack Swift-API's, wat naadloze integratie mogelijk maakt met toepassingen die zijn ontworpen voor cloud-objectopslag.

Data spreiding over servers in verschillende racks met Ceph

Ceph biedt de mogelijkheid om data niet alleen te spreiden over verschillende schijven of storage servers, maar zelfs over verschillende racks. Stel je een datacenter voor met servers die zijn georganiseerd in drie racks: Rack 1, Rack 2 en Rack 3. Elk rack bevat meerdere servers met Ceph OSD's. Je wilt ervoor zorgen dat je gegevens beschikbaar blijven, zelfs als een heel rack uitvalt. Ceph bereikt dit in vijf stappen: 

1. Definieer foutdomeinen in de CRUSH-map: In de CRUSH-map specificeer je dat racks de foutdomeinen zijn. Dit betekent dat Ceph hele racks in overweging neemt bij het verdelen van data replica's.
    
2. Configureer replicatieregels:  
   • Replication Factor: Stel een replicatiefactor in om aan te geven hoeveel kopieën van data binnen het cluster worden opgeslagen, bijv. drie.
   • Placement Rules: Definieer regels die Ceph instrueren om elke replica in een ander rack te plaatsen.
      
3. Data placement met CRUSH: Wanneer een client gegevens schrijft, berekent het CRUSH-algoritme drie OSD's in verschillende racks om de replica's op te slaan, bijvoorbeeld:
   • Replica 1: Opgeslagen op een OSD in Rack 1.
   • Replica 2: Opgeslagen op een OSD in Rack 2.
   • Replica 3: Opgeslagen op een OSD in Rack 3.
      
4. Fouttolerantie: Als Rack 2 een storing ondervindt (bijv. stroomuitval), blijven de gegevens toegankelijk vanaf replica's in Rack 1 en Rack 3. Ceph detecteert de storing van OSD's in Rack 2 en begint de getroffen gegevens te repliceren naar andere OSD's in de resterende racks om de replicatiefactor te behouden.
    
5. Zelfherstel en herverdeling: Zodra Rack 2 weer online is, kan Ceph de gegevens herverdelen volgens de CRUSH-map en placement rules. Het systeem werkt zonder handmatige tussenkomst, wat zorgt voor gegevensintegriteit en beschikbaarheid.

Beveiliging en data-integriteit

Naast de redundantie van opgeslagen data, biedt Ceph nog enkele handige opties om de beveiliging en data-integriteit te optimaliseren:

• Authenticatie (CephX): Ceph gebruikt een wederzijdssysteem voor authenticatie om communicatie tussen clients en daemons te beveiligen.
   
• Versleuteling: Ceph ondersteunt versleuteling voor gegevens in rust en in transit, wat de beveiliging van gevoelige gegevens verbetert.
   
• Data scrubbing: Regelmatige scrubbingprocessen detecteren en corrigeren gegevensinconsistenties, wat zorgt voor gegevensintegriteit in de loop van de tijd.

Voordelen van het gebruik van Ceph

Op basis van het voorgaande kun je stellen dat Ceph een viertal technische voordelen heeft ten opzichte van traditionele storagetechnieken.  

1. Schaalbaarheid: Ceph schaalt horizontaal; je kunt meer storage servers toevoegen om de capaciteit en prestaties te verhogen zonder het systeem te verstoren.
    
2. High availability: Gegevens worden gerepliceerd over meerdere storage servers en foutdomeinen, wat zorgt voor continue beschikbaarheid, zelfs bij hardwarestoringen.
    
3. Geünificeerd storageplatform: Ceph ondersteunt object-, block- en file-storage binnen hetzelfde cluster, wat het beheer vereenvoudigt en de overhead vermindert.
    
4. Zelfbeheerd en zelfherstellend: Ceph automatiseert gegevensreplicatie, herstel en herverdeling, waardoor de administratieve inspanning wordt verminderd.