Rhel 7 üzerine Docker kurmak

Merhaba ,

Aws ‘den aldığım rhel7 makinanın üzerine Docker kuracağız . (Rhel release : 3.10.0-514.21.2.el7.x86_64 )

İlk olarak docker repository’ini ekliyoruz .

# vi /etc/yum.repos.d/docker.repo

İçerisini aşağıdaki gibi dolduruyoruz.

[Docker]

name=Docker Repository

baseurl=https://yum.dockerproject.org/repo/main/centos/7/

enabled=1

gpgcheck=1

gpgkey=https://yum.dockerproject.org/gpg

Sonrasında paketlerimizi update ediyoruz .

# yum update

Docker’ı kuruyoruz.

# yum install docker-engine

Başlatıyoruz .

# service docker start

Sqoop password file oluşturmak ve kullanmak

Merhaba ,

 

Bu yazımızda sqoop ile DB’e bağlanmak için password file oluşturacağız .

İlk olarak dosyamızı oluşturuyoruz .

echo -n “şifre” > password-file.txt 

Sonrasında bu dosyanın içerisinde şifre dışında karakter olup olmadığını kontrol ediyoruz. (dosyanın sonunda \n olmamalı)

od -c password-file.txt 

Son olarak dosyanın sahipliğini ve izinlerini değiştiriyoruz.

chown sqoop:sqoop password-file.txt 

chmod 400 password-file.txt  

Örnek sqoop komutu :

sqoop import –connect “jdbc:sqlserver://xx.xx.xxx.xxx:xxxx;database=xxxx” –username xxxxx –password-file file:///xxx/password-file.txt –query ” SELECT XX from XXX” –target-dir /path/pathX –num-mappers 1 –as-parquetfile –compress –compression-codec org.apache.hadoop.io.compress.SnappyCodec

bdacheckcluster çıktısındaki ERROR: Incorrect result resolving hatasının çözümü , Oracle BDA (Big Data Appliance)

Merhaba ,

Bu yazıda size ERROR: Incorrect result resolving hatasından bahsedeceğim .

Big data appliance üzerinde bdacheckcluster  komutunu çalıştırdığımda aşağıdaki gibi hatalar görüyordum .

ERROR: Incorrect result resolving bdanode01 to xxx.xxx.xxx.xxx on bdanode01
ERROR: Result: bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
ERROR: Incorrect result resolving bdanode01 to aaa.aaa.aaa.aaa on bdanode02
ERROR: Result: bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
ERROR: Incorrect result resolving bdanode01 to bbb.bbb.bbb.bbb on bdanode03
ERROR: Result: bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
ERROR: Incorrect result resolving bdanode01 to ccc.ccc.ccc on bdanode04
ERROR: Result: bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
bdanode01.yazihane.org has address yyy.yyy.yyy.yyy
ERROR: Result: bdanode01.yazihane.org has address yyy.yyy.yyy.yyy

/etc/resolv.conf i kontrol ettiğimde burdaki domain name ile bdacli getinfo rack_domain_name komutu çıktısındaki domain’in farklı olduğu gördüm .

Çözüm olarak da ilk node da ki resolv.conf’u düzelttim ve öbürlerine kopyaladım , servisi restart ettim.  Problem çözüldü .

  •  dcli -C cp /etc/resolv.conf /etc/resolv.confORIG

  • vi resolv.conf

  • dcli -C -f /etc/resolv.conf -d /etc/resolv.conf

  • dcli -C service dnsmasq restart

Oracle BDA (Big Data Appliance)’da ASR (Auto Service Request) konfigürasyon , adres ekleme hatası

Herkese merhabalar ,

Bu yazıda , Oracle’ın engineered systems ailesi için kullanılan ASR ile ilgili bir hata ve çözümünden bahsedeceğim .

Big data appliance ‘da asr server’ın adresini değiştirmek için aşağıdaki komutu çalıştırdığımda ” Error code is 5 . Response is <<>> ” hatasıyla karşılaşıyordum .

[root@bda ]# /opt/oracle/bda/compmon/bda_mon_hw_asr.pl -set_snmp_subscribers “(host=xxx.xxx.xxx.xxx,port=zzz,community=public,type=asr,fromip=yyy.yyy.yyy.yyy)”

Dom0:0, DomU:0, Farm:0Try to add ASR destination Host -xxx.xxx.xxx.xxx IP -xxx.xxx.xxx.xxx Port – zzz Community – public From IP -yyy.yyy.yyy.yyy
Drop ASR destination Host -yyy.yyy.yyy.yyy IP – yyy.yyy.yyy.yyy Port – zzz From IP -yyy.yyy.yyy.yyy
Thu May 11 14:16:43 2017 : Error executing ‘/usr/bin/perl -I/opt/oracle/bda/compmon/ /opt/oracle/bda/compmon/setup_asr_ilom.pl -drop -host yyy.yyy.yyy.yyy -port zzz’ . Will retry up to 30 times every 1 second
Thu May 11 14:16:43 2017 : Error code is 5 . Response is <<>>

Bunun sebebinin drop etmeye çalıştığı ip’i bulamadığı olduğunu öğrendim.

Çözümü ise şu şekilde :

  • Ilom Cli’a bağlanılır .
  • cd /SP/alertmgmt/rules/15  ile rule dizinine gidilir .
  • show komutuyla aşağıdaki gibi değerlerin sıfır olduğu bir çıktı görülür . (Boş olduğu görülür )
  • /SP/alertmgmt/rules/15
  • Targets: Properties: type = snmptrap level = disable destination = 0.0.0.0 destination_port = 0 community_or_username = public snmp_version = 1 testrule = (Cannot show property)
  • Bulamadığı rule’un değerleri bu boş rule’ set edilir .
  • -> set level=minor
    Set ‘level’ to ‘minor’

    -> set destination=yyy.yyy.yyy.yyy 
    Set ‘destination’ to ‘yyy.yyy.yyy.yyy’

    -> set destination_port=zzz 
    Set ‘destination_port’ to ‘zzz’

    -> set snmp_version=2c
    Set ‘snmp_version’ to ‘2c’

  • show denilerek rule’un değerlerinin doğru ayarlandığı kontrol edilir .
  • Sonrasında aşağıdaki komut tekrar çalışarak , ip’nin başarıyla değiştiği görülür .
  • /opt/oracle/bda/compmon/bda_mon_hw_asr.pl -set_snmp_subscribers “(host=xxx.xxx.xxx.xxx,port=zzz,community=public,type=asr,fromip=yyy.yyy.yyy.yyy)”

Virtualbox da dhcp kurarak(host only network) vm’leri haberleştirmek (ubuntu 16.04 VM’ler)

İlk olarak Virtualbox da preferences menusunun altından network’a gidiyoruz .

Screen Shot 2017-04-02 at 21.26.50

+ işaretine tıklayarak yeni bir network oluşturuyoruz .

Screen Shot 2017-04-02 at 21.27.46

Sonrasında tornavida sembolune basarak ayarlara gidiyoruz .

Screen Shot 2017-04-02 at 21.30.50

Burda dhcp server’ımızın ip’sini ve makinalara verilecek ip aralığını görüyoruz .

Sanal makinamıza sağ tıklayarak Settings’e gidiyoruz. Network tabı altından bir adapter’u enable hale getiriyoruz ve host-only adapter i seçiyoruz . Name kısmından oluşturduğumuz ağı seçiyoruz .

Screen Shot 2017-04-02 at 21.34.30

Makinayı başlatıp , root oluyoruz . ifconfig -a diyerek enable ettiğimiz network’in interfacesine bakıyoruz .

Sonrasında /etc/network/interfaces ‘un en sonuna ip adresi , netmask gibi bilgileri gireceğiz . 

auto eth2
iface eth2 inet static
address 192.168.56.102
netmask 255.255.255.0

Son olarak ifup eth2 diyerek interface’i up hale getiriyoruz ve ifconfig -a ile ip alıp almadığını kontrol ediyoruz .

 

Ssh key generate etmek (Puttygen ile , windows)

Herkese merhaba ,

Bu yazımızda puttygen programını kullanarak ssh key generate edeceğiz .

putty1

Generate ‘e tıklıyoruz ve sonrasında program penceresi içerisinde mouse’ı rastgele hareket ettiriyoruz .

putty2

Bir süre sonra üstteki bar doluyor ve key yaratılmış oluyor . Oluşturulan key’leri save public key ve save private key diyerek kaydediyoruz .

putty3

Multi Node Hadoop Cluster Kurulumu -Hadoop Yazı 1 – Ortam ve Requirement’lar

Bu yazı ile birlikte çok node’lu bir hadoop cluster’ı kuracağız . İlk yazıda ortam ve requirement’ları konuşacağız .

Ortam olarak virtualbox üzerinde 3 tane sanal makina kurdum ve önerilenin altında kaynaklar ayarladım .

OS : Ubuntu Server 16.04

Memory : 768 MB

Disk : 40 GB

CPU : 1 Core / Makina

** Ubuntu’yu kurarken hadoop user’ını yaratmanız , sizi bir sürü işten kurtaracaktır.

3 üç makinadan 1’i master node , diğer ikiside slave node’larımız olacak .

hadoopmaster – 192.168.0.105

hadoopslave01 – 192.168.0.106

hadoopslave02 – 192.168.0.107

Şimdi de her 3 makinaya da jre , jdk ve ssh kuracağız.

$ sudo apt-get update

$ sudo apt-get install default-jre

$ sudo apt-get install default-jdk

$ sudo apt-get install openssh-server

 

Hadoop adında bir user yaratıyoruz , şifresini de hadoop olarak ayarlıyoruz . (3 Makinada da)

# useradd -m hadoop

# passwd hadoop

/etc/hosts dosyasına makinaları ekliyoruz.

nano /etc/hosts

192.168.0.105 hadoopmaster

192.168.0.106 hadoopslave01

192.168.0.107 hadoopslave02

Makinaların birbirleriyle şifresiz haberleşmesi için ssh key ‘leri kopyalayacağız .Lütfen tek tek ve sırasıyla her üçünde de çalıştırın .

# su hadoop

$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopmaster
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave01
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave02
$ chmod 0600 ~/.ssh/authorized_keys

Son olarak 2 slave makinamızda aşağıdaki dizini oluşturup , sahibini değiştiriyoruz.

# mkdir /opt/hadoop

# cd /opt/

# chown -R hadoop:hadoop hadoop

MongoDB Kurulumu ve Ilk Konfigurasyonlar (Mongo Shell ,User Oluşturma)

Bu yazıda , Ubuntu Server 16.04 kurulu olan sanal makinamıza MongoDB kuracağız .

 

MongoDB repository’ini eklemek için key’imizi import  ediyor , listeye ekliyoruz .

sudo apt-key adv –keyserver hkp://keyserver.ubuntu.com:80 –recv EA312927

echo “deb http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.2 multiverse” | sudo tee /etc/apt/sources.list.d/mongodb-org-3.2.list

Repository ‘imizi update ediyoruz .

 sudo apt-get update

 

Şimdi mongoDB’i kuruyoruz .

sudo apt-get install -y mongodb-org

Şimdi de mongod için bir systemd servisi yaratacağız . Önce dizine gidiyoruz , sonrasında servis dosyası oluşturacağız .(Eğer otomatik oluşturulmuşsa kontrol etmemiz yeterlidir.)

cd /lib/systemd/system/

nano mongod.service

mongod.service dosyasının içine aşağıdaki blogu yapıştırıyoruz.

[Unit]
Description=NoSQL database
After=network.target
Documentation=https://docs.mongodb.org/manual

[Service]
User=mongodb
Group=mongodb
ExecStart=/usr/bin/mongod –quiet –config /etc/mongod.conf

[Install]
WantedBy=multi-user.target

Reload ediyoruz .

systemctl daemon-reload

Şimdi de mongoDB servisini başlatıyoruz , boot da otomatik açılması için enable ediyoruz . (Servisi ekliyoruz)

systemctl start mongod
systemctl enable mongod

Açılıp açılmadığını kontrol ediyoruz . 27017  portunu kullanıyor .

 ps -ef |grep mongo

 netstat -plntu

 Kurulumu tamamladık ve şimdi ilk konfigurasyonları yapacağız , mongo shell ‘ e bağlanıp user oluşturacak ve user auth’u açacağız.

Mongo shell’e bağlanıyoruz .

mongo  

Use komutuyla db’ler arasında geçiş yapıyoruz . Admin DB’sine geçtik.

use admin

Root yetkili(db admin) bir kullanıcı yaratıyoruz.(admin isimli database ‘de )

db.createUser({user:”admin1″, pwd:”yoneticiyimben”, roles:[{role:”root”, db:”admin”}]})

exit diyip çıkıyoruz.

Servis dosyasına –auth parametresini ekleyip , systemd daemon’ını reload ve mongodb ‘i restart edeceğiz .

nano /lib/systemd/system/mongod.service

Aşağıdaki satıra –auth’ı ekliyoruz.

ExecStart=/usr/bin/mongod –quiet –auth –config /etc/mongod.conf

systemctl daemon-reload

service mongod restart

Şimdi de yarattığımız user’la mongo shell’e bağlanıyoruz .

-u username -p password –authenticationDatabase authenticatedOlacağımızDB’ninAdı

 mongo -u admin1 -p yoneticiyimben –authenticationDatabase admin

show dbs diyerek database’lere ve boyutlarına bakabiliriz.