Sqoop password file oluşturmak ve kullanmak

Merhaba ,

 

Bu yazımızda sqoop ile DB’e bağlanmak için password file oluşturacağız .

İlk olarak dosyamızı oluşturuyoruz .

echo -n “şifre” > password-file.txt 

Sonrasında bu dosyanın içerisinde şifre dışında karakter olup olmadığını kontrol ediyoruz. (dosyanın sonunda \n olmamalı)

od -c password-file.txt 

Son olarak dosyanın sahipliğini ve izinlerini değiştiriyoruz.

chown sqoop:sqoop password-file.txt 

chmod 400 password-file.txt  

Örnek sqoop komutu :

sqoop import –connect “jdbc:sqlserver://xx.xx.xxx.xxx:xxxx;database=xxxx” –username xxxxx –password-file file:///xxx/password-file.txt –query ” SELECT XX from XXX” –target-dir /path/pathX –num-mappers 1 –as-parquetfile –compress –compression-codec org.apache.hadoop.io.compress.SnappyCodec

Oracle BDA (Big Data Appliance)’da ASR (Auto Service Request) konfigürasyon , adres ekleme hatası

Herkese merhabalar ,

Bu yazıda , Oracle’ın engineered systems ailesi için kullanılan ASR ile ilgili bir hata ve çözümünden bahsedeceğim .

Big data appliance ‘da asr server’ın adresini değiştirmek için aşağıdaki komutu çalıştırdığımda ” Error code is 5 . Response is <<>> ” hatasıyla karşılaşıyordum .

[root@bda ]# /opt/oracle/bda/compmon/bda_mon_hw_asr.pl -set_snmp_subscribers “(host=xxx.xxx.xxx.xxx,port=zzz,community=public,type=asr,fromip=yyy.yyy.yyy.yyy)”

Dom0:0, DomU:0, Farm:0Try to add ASR destination Host -xxx.xxx.xxx.xxx IP -xxx.xxx.xxx.xxx Port – zzz Community – public From IP -yyy.yyy.yyy.yyy
Drop ASR destination Host -yyy.yyy.yyy.yyy IP – yyy.yyy.yyy.yyy Port – zzz From IP -yyy.yyy.yyy.yyy
Thu May 11 14:16:43 2017 : Error executing ‘/usr/bin/perl -I/opt/oracle/bda/compmon/ /opt/oracle/bda/compmon/setup_asr_ilom.pl -drop -host yyy.yyy.yyy.yyy -port zzz’ . Will retry up to 30 times every 1 second
Thu May 11 14:16:43 2017 : Error code is 5 . Response is <<>>

Bunun sebebinin drop etmeye çalıştığı ip’i bulamadığı olduğunu öğrendim.

Çözümü ise şu şekilde :

  • Ilom Cli’a bağlanılır .
  • cd /SP/alertmgmt/rules/15  ile rule dizinine gidilir .
  • show komutuyla aşağıdaki gibi değerlerin sıfır olduğu bir çıktı görülür . (Boş olduğu görülür )
  • /SP/alertmgmt/rules/15
  • Targets: Properties: type = snmptrap level = disable destination = 0.0.0.0 destination_port = 0 community_or_username = public snmp_version = 1 testrule = (Cannot show property)
  • Bulamadığı rule’un değerleri bu boş rule’ set edilir .
  • -> set level=minor
    Set ‘level’ to ‘minor’

    -> set destination=yyy.yyy.yyy.yyy 
    Set ‘destination’ to ‘yyy.yyy.yyy.yyy’

    -> set destination_port=zzz 
    Set ‘destination_port’ to ‘zzz’

    -> set snmp_version=2c
    Set ‘snmp_version’ to ‘2c’

  • show denilerek rule’un değerlerinin doğru ayarlandığı kontrol edilir .
  • Sonrasında aşağıdaki komut tekrar çalışarak , ip’nin başarıyla değiştiği görülür .
  • /opt/oracle/bda/compmon/bda_mon_hw_asr.pl -set_snmp_subscribers “(host=xxx.xxx.xxx.xxx,port=zzz,community=public,type=asr,fromip=yyy.yyy.yyy.yyy)”

Multi Node Hadoop Cluster Kurulumu -Hadoop Yazı 1 – Ortam ve Requirement’lar

Bu yazı ile birlikte çok node’lu bir hadoop cluster’ı kuracağız . İlk yazıda ortam ve requirement’ları konuşacağız .

Ortam olarak virtualbox üzerinde 3 tane sanal makina kurdum ve önerilenin altında kaynaklar ayarladım .

OS : Ubuntu Server 16.04

Memory : 768 MB

Disk : 40 GB

CPU : 1 Core / Makina

** Ubuntu’yu kurarken hadoop user’ını yaratmanız , sizi bir sürü işten kurtaracaktır.

3 üç makinadan 1’i master node , diğer ikiside slave node’larımız olacak .

hadoopmaster – 192.168.0.105

hadoopslave01 – 192.168.0.106

hadoopslave02 – 192.168.0.107

Şimdi de her 3 makinaya da jre , jdk ve ssh kuracağız.

$ sudo apt-get update

$ sudo apt-get install default-jre

$ sudo apt-get install default-jdk

$ sudo apt-get install openssh-server

 

Hadoop adında bir user yaratıyoruz , şifresini de hadoop olarak ayarlıyoruz . (3 Makinada da)

# useradd -m hadoop

# passwd hadoop

/etc/hosts dosyasına makinaları ekliyoruz.

nano /etc/hosts

192.168.0.105 hadoopmaster

192.168.0.106 hadoopslave01

192.168.0.107 hadoopslave02

Makinaların birbirleriyle şifresiz haberleşmesi için ssh key ‘leri kopyalayacağız .Lütfen tek tek ve sırasıyla her üçünde de çalıştırın .

# su hadoop

$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopmaster
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave01
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoopslave02
$ chmod 0600 ~/.ssh/authorized_keys

Son olarak 2 slave makinamızda aşağıdaki dizini oluşturup , sahibini değiştiriyoruz.

# mkdir /opt/hadoop

# cd /opt/

# chown -R hadoop:hadoop hadoop