Kako namestiti CDH in konfigurirati umestitve storitev na CentOS/RHEL 7 - 4. del
V prejšnjem članku smo razložili namestitev Cloudera Manager, v tem članku boste izvedeli, kako namestiti in konfigurirati CDH (Cloudera Distribution Hadoop) v RHEL/CentOS 7.
Med namestitvijo paketa CDH moramo zagotoviti združljivost Cloudera Manager in CDH. Različica Cloudera ima 3 dele -
Na primer, uporabljamo Cloudera Manager 6.3.1 in CDH 6.3.2. Tu je 6 glavnih in 3 manjših različic. Major in Minor morata biti enaka, da se izogneta težavam z združljivostjo.
- Najboljše prakse za razmestitev strežnika Hadoop na CentOS/RHEL 7 - 1. del
- Nastavitev predpogojev za Hadoop in varnostno utrjevanje - 2. del
- Kako namestiti in konfigurirati Cloudera Manager na CentOS/RHEL 7 - 3. del
Za namestitev CDH bomo vzeli spodnji dve vozlišči. Cloudera Manager smo že namestili v master1, master1 pa uporabljamo tudi kot repo strežnik.
master1.linux-console.net worker1.linux-console.net
1. korak: Prenesite CDH pakete na glavni strežnik
1. Najprej se povežite s strežnikom master1 in prenesite datoteke CDH Parcels v imenik/var/www/html/cloudera-repos/cdh. Spodaj omenjene tri datoteke moramo prenesti, ki bi morale biti združljive z RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Pred prenosom teh datotek ustvarite imenik cdh pod/var/www/html/cloudera-repos/location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Nato z naslednjim ukazom wget prenesite zgoraj omenjene 3 datoteke.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2. korak: Namestite Cloudera Manager Repo na odjemalce Worker
4. Zdaj se povežite s strežniki delavcev in kopirajte datoteko repo (cloudera-manager.repo) s strežnika repo (master1) na preostali strežnik delavcev. Ta repo datoteka strežnikom zagotavlja, da bodo med namestitvijo s repo strežnika preneseni vsi zahtevani paketi in RPM-ji.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Ko je repo dodan, navedite omogočene repozitorije, da se prepričate, ali je omogočeno repo cloudera-manager.
$ yum repolist
3. korak: Namestite demone Cloudera Manager in Agent na strežnike Worker
6. Zdaj moramo namestiti cloudera-manager-daemons in cloudera-manager-agent v vse preostale strežnike.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Nato morate konfigurirati agenta Cloudera Manager, da poroča o strežniku Cloudera Manager.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Nadomestite localhost z naslovom IP strežnika Cloudera Manager.
8. Zaženite Agent Cloudera Manager in preverite stanje.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
4. korak: Namestite in namestite CDH
V master1 - repo strežniku imamo pakete CDH. Če sledite samodejni namestitvi s programom Cloudera Manager, preverite, ali imajo vsi strežniki repo datoteko Cloudera Manager v /etc/yum.repos.d/.
9. Prijavite se v Cloudera Manager z uporabo spodnjega URL-ja na vratih 7180 in uporabite privzeto uporabniško ime in geslo za Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Ko se prijavite, vas bo pozdravila pozdravna stran. Tu lahko najdete opombe ob izdaji, Nove funkcije Cloudera Manager.
11. Sprejmite licenco in nadaljujte.
12. Izberite Edition. Preizkusna različica je privzeto izbrana, s tem lahko nadaljujemo.
13. Zdaj sledite korakom namestitve grozda. Nadaljujte s pozdravno stranjo.
14. Poimenujte grozd in nadaljujte, imenovali smo ga\"tecmint". Določite lahko dve vrsti grozdov. Nadaljujemo z rednim grozdom.
- Regularni grozd: Sestavljen bo iz vozlišč za shranjevanje, računalniških vozlišč in drugih potrebnih storitev.
- Računalniški grozd: Sestavljen bo samo iz računskih vozlišč. Zunanji pomnilnik se lahko uporablja za shranjevanje podatkov.
15. Na vse strežnike smo že namestili agente Cloudera Manager. Te strežnike lahko najdete v\"Trenutno upravljani gostitelji". Za samodejno namestitev morate v polje\"Novi gostitelji" vnesti FQDN ali IP strežnikov in iskati. Cloudera Manager bo samodejno zaznal gostitelje, na katere moramo namestiti CDH.
Tukaj kliknite\"Trenutno upravljani gostitelji", izberite vse gostitelje, tako da izberete "Ime gostitelja" in nadaljujte.
16. Izberite Repozitorij - priporočljiv način je Parcel. Kliknite »Več možnosti«, da konfigurirate skladišče.
17. Vnesite URL lokalnega skladišča, kot je navedeno spodaj. Odstranite vsa preostala javna skladišča, ki kažejo na splet (Cloudera Repositories).
To je URL lokalnega repozitorija CDH, ki ga imamo v master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Ko vnesete URL repozitorija, bo na tej strani prikazani samo razpoložljivi paketi. Nadaljujte s tem korakom.
19. Zdaj se paketi prenašajo, distribuirajo, razpakirajo in aktivirajo na vseh razpoložljivih strežnikih.
20. Ko so paketi CDH aktivirani, preglejte grozd. Ta korak bo opravil zdravstveni pregled grozda. Tu preskakujemo in nadaljujemo.
5. korak: Konfiguracija grozda
21. Tu moramo izbrati storitve, ki bodo nameščene v grozdu. Nekatere pakirane kombinacije bodo na voljo privzeto, uporabljamo storitve po meri.
22. V storitvah po meri za ta predstavitveni namen namestimo samo osnovne komponente (HDFS in YARN).
23. Strelcu dodelite vloge. Lahko prilagodimo glede na naše zahteve. Poiščite spodnjo tabelo, ki opisuje priporočeno porazdelitev vlog za osnovno majhno gručo s 5 do 20 vozlišči z visoko razpoložljivostjo.
24. Izberite vrsto zbirke podatkov, ime gostitelja, ime DB, uporabniško ime in geslo. Ker uporabljamo Embedded PostgreSQL, bo privzeto izbran. Preizkusite povezavo, bi morala biti uspešna.
25. Na tej strani bodo prikazani privzeti konfiguracijski parametri HDFS in preje, vključno s podatkovnimi imeniki. Preglejte vse podrobnosti o konfiguraciji in po potrebi lahko spremenite. Nato nadaljujte s tem.
26. Na tej strani bodo prikazane podrobnosti ukaza „Prvi zagon“. Lahko ga razširite, da si ogledate podrobnosti o izvajanju ukazov. Če v gruči obstajajo težave z omrežjem ali dovoljenji, ta korak ne bo uspel. Ta korak običajno določa nemoteno namestitev zgradbe grozdov.
27. Ko je zgornji korak končan, kliknite »Končaj«, da dokončate namestitev. To je nadzorna plošča upravitelja Cloudera po namestitvi CDH.
http://104.211.95.96:7180/cmf/home
Uspešno smo zaključili namestitev Cloudera Manager in CDH. Na nadzorni plošči Cloudera Manager lahko najdete vnaprej določen niz grafikonov, kjer lahko spremljate CPU grozda, IO diska itd. S pomočjo tega upravitelja Cloudera lahko upravljamo celotno gručo. V prihodnjih člankih bomo videli vse upravne postopke.