Multi Node Hadoop Cluster Kurulumu -Hadoop Yazı 1 – Ortam ve Requirement’lar

Bu yazı ile birlikte çok node’lu bir hadoop cluster’ı kuracağız . İlk yazıda ortam ve requirement’ları konuşacağız .

Ortam olarak virtualbox üzerinde 3 tane sanal makina kurdum ve önerilenin altında kaynaklar ayarladım .

OS : Ubuntu Server 16.04

Memory : 768 MB

Disk : 40 GB

CPU : 1 Core / Makina

** Ubuntu’yu kurarken hadoop user’ını yaratmanız , sizi bir sürü işten kurtaracaktır.

3 üç makinadan 1’i master node , diğer ikiside slave node’larımız olacak .

hadoopmaster – 192.168.0.105

hadoopslave01 – 192.168.0.106

hadoopslave02 – 192.168.0.107

Şimdi de her 3 makinaya da jre , jdk ve ssh kuracağız.

$ sudo apt-get update

$ sudo apt-get install default-jre

$ sudo apt-get install default-jdk

$ sudo apt-get install openssh-server

 

Hadoop adında bir user yaratıyoruz , şifresini de hadoop olarak ayarlıyoruz . (3 Makinada da)

# useradd -m hadoop

# passwd hadoop

/etc/hosts dosyasına makinaları ekliyoruz.

nano /etc/hosts

192.168.0.105 hadoopmaster

192.168.0.106 hadoopslave01

192.168.0.107 hadoopslave02

Makinaların birbirleriyle şifresiz haberleşmesi için ssh key ‘leri kopyalayacağız .Lütfen tek tek ve sırasıyla her üçünde de çalıştırın .

# su hadoop

$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopmaster
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave01
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave02
$ chmod 0600 ~/.ssh/authorized_keys

Son olarak 2 slave makinamızda aşağıdaki dizini oluşturup , sahibini değiştiriyoruz.

# mkdir /opt/hadoop

# cd /opt/

# chown -R hadoop:hadoop hadoop

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir