3 Hadoop Clusterkonfigurationen

3 Hadoop Clusterkonfigurationen - Dummies

1 3

Ein-Rack-Hadoop-Bereitstellung

Eine Einzel-Rack-Bereitstellung ist ein idealer Ausgangspunkt für ein Hadoop-Cluster.

Hier ist der Cluster ziemlich eigenständig, aber weil er immer noch relativ wenige Slave-Knoten hat, sind die wahren Vorteile der Ausfallsicherheit von Hadoop noch nicht offensichtlich.

2 3

Drei-Rack-Hadoop-Bereitstellung

Ein mittelgroßer Cluster verfügt über mehrere Racks, wobei die drei Masterknoten über die Racks verteilt sind.

Die Ausfallsicherheit von Hadoop beginnt sich zu zeigen: Selbst wenn ein ganzes Rack ausfallen sollte (zum Beispiel beide ToR-Switches in einem einzigen Rack), würde das Cluster immer noch funktionieren, wenn auch auf einem niedrigeren Leistungsniveau. Ein Ausfall des Slave-Knotens wäre kaum bemerkbar.

3 3

Umfangreiche Hadoop-Bereitstellung

In größeren Clustern mit vielen Racks, wie im gezeigten Beispiel, ist die erforderliche Netzwerkarchitektur ziemlich anspruchsvoll.

Unabhängig davon, wie viele Racks Hadoop-Cluster erweitern, müssen die Slave-Knoten aus jedem Rack effizient kommunizieren können. zu jedem Hauptknoten.

Da die Anzahl der Slave-Knoten auf den Punkt ansteigt, an dem Sie mehr als drei Racks haben, bestehen zusätzliche Racks nur aus Slave-Knoten, abgesehen von den ToR-Switches. Wenn Sie HBase in Ihrem Cluster stark verwenden, können Sie Master-Knoten hinzufügen, um zusätzliche HMaster- und Zookeeper-Dienste zu hosten.

Wenn Sie in einem wirklich gewaltigen Maßstab arbeiten, in dem Hunderte von Slave-Knoten vorhanden sind, müssen Sie möglicherweise die HDFS-Föderationsfunktionen verwenden, damit große Teile Ihrer Datensätze von verschiedenen NameNode-Diensten verwaltet werden.

Für jeden zusätzlichen Active NameNode benötigen Sie einen entsprechenden Standby NameNode und zwei Master-Knoten, um diese Server zu hosten. Mit HDFS Federation ist der Himmel wirklich die Grenze in Bezug darauf, wie weit Sie Ihre Cluster skalieren können.

Zurück Weiter