Namestite in konfigurirajte načrtovalnik delovnega toka Apache Oozie za CDH 4.X na RHEL/CentOS 6/5

Oozie je odprtokodni načrtovalec za Hadoop, ki poenostavlja potek dela in usklajevanje med opravili. Za vhodne podatke lahko definiramo odvisnost med opravili in tako lahko avtomatiziramo odvisnost od opravil z uporabo razporejevalnika ooze.

V tej vadnici sem na glavno vozlišče namestil Oozie (tj. master kot ime gostitelja in tam, kjer je nameščen namenode/JT ), vendar bi moral biti oozie v produkcijskem sistemu nameščen na ločenem Hadoopu. vozlišče.

Navodila za namestitev so razdeljena na dva dela, imenujemo ga A in B.

A. Namestitev Oozie.
B. Oozie konfiguracija.

Najprej preverimo sistemsko ime gostitelja z uporabo naslednjega ukaza „ime gostitelja“.

 hostname

master

Metoda A: Oozie namestitev na RHEL/CentOS 6/5

Za namestitev CDH4 uporabljamo uradno skladišče CDH s spletnega mesta cloudera. Pojdite v uradni razdelek za prenos CDH in prenesite različico CDH4 (tj. 4.6), lahko pa tudi uporabite naslednji ukaz wget, da prenesete repozitorij in ga namestite.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Ko ste v sistem dodali odlagališče CDH, lahko z naslednjim ukazom namestite Oozie v sistem.

 yum install oozie

Zdaj namestite odjemalca oozie (zgornji ukaz mora zajemati del namestitve odjemalca, če pa ne, poskusite pod ukazom).

 yum install oozie-client

Opomba: Zgornja namestitev tudi konfigurira storitev oozie za zagon ob zagonu sistema. Dobro opravljeno! Končali smo s prvim delom namestitve, zdaj preidimo na drugi del, da nastavimo oozie.

Metoda B: Konfiguracija Oozie na RHEL/CentOS 6/5

Ker oozie ne deluje neposredno s Hadoopom, tukaj ne potrebujemo nobene preslikane konfiguracije.

Pozor: Konfigurirajte vse nastavitve, medtem ko se oozie ne izvaja, kar pomeni, da morate slediti spodnjim korakom, medtem ko storitev oozie ne deluje.

Oozie ima privzeto vgrajen "Derby" v DB, vendar priporočam, da uporabite Mysql DB. Torej, namestite bazo podatkov MySQL z naslednjim člankom.

Namestite bazo podatkov MySQL v RHEL/CentOS 6/5

Ko končate z namestitvenim delom, nadaljujte z ustvarjanjem oozie DB in dodelite pravice, kot je prikazano spodaj.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Nato konfigurirajte lastnosti Oozie za MySQL. Odprite datoteko »oozie-site.xml« in uredite naslednje lastnosti, kot je prikazano.

 cd /etc/oozie/conf
 vi oozie-site.xml

Vnesite naslednje lastnosti (nadomestite glavno [moje ime gostitelja] z imenom gostitelja).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Prenesite in dodajte gonilnik za povezljivost MySQL JDBC JAR v imenik Oozie lib. Če želite to narediti, na terminalu zaženite naslednji resni ukaz.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Ustvarite shemo baze podatkov oozie z izvajanjem spodnjih ukazov in upoštevajte, da jo je treba zagnati kot uporabnik oozie.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Če želite omogočiti spletno konzolo oozie, morate prenesti ExtJS lib iz interneta. Pojdite na uradno stran CDH ExtJS in prenesite knjižnice ExtJS različice 2.2 ali pa paket lahko prenesete z naslednjim ukazom.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Na koncu zaženite strežnik oozie z zagonom naslednjih ukazov.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Z najljubšim brskalnikom odprite uporabniški vmesnik oozie in pokažite na svoj naslov IP. V tem primeru je moj IP 192.168.1.129.

http://192.168.1.129:11000

Zdaj, če vidite ta uporabniški vmesnik. Čestitke !! Uspešno ste konfigurirali oozie.

Ta postopek je bil uspešno preizkušen na RHEL/CentOS 6/5. V naslednjih člankih bom delil, kako konfigurirati in razporediti hadoop opravila prek oozie. Ostanite povezani še več in ne pozabite komentirati povratnih informacij.