Najboljše prakse za razmestitev strežnika Hadoop na CentOS/RHEL 7 - 1. del

V tej seriji člankov bomo pokrili celotno zgradbo zgradb grozdov Cloudera Hadoop z najboljšimi praksami, ki jih priporočajo prodajalci in industrijske stranke.

Namestitev operacijskega sistema in izvajanje operacijskega sistema Predpogoji so prvi koraki za izgradnjo Hadoop grozda. Hadoop lahko deluje z različnimi okusi platforme Linux: CentOS, RedHat, Ubuntu, Debian, SUSE itd. V realnem času je večina skupin Hadoop zgrajena na vrhu RHEL/CentOS, za demonstracijo bomo uporabili CentOS 7 v tej seriji vaj.

V organizaciji lahko namestitev operacijskega sistema izvedete s pomočjo kickstart. Če gre za gručo 3 do 4 vozlišč, je možna ročna namestitev, če pa zgradimo veliko gručo z več kot 10 vozlišči, je dolgočasno nameščati OS enega za drugim. V tem primeru se prikaže metoda Kickstart, lahko nadaljujemo z množično namestitvijo s pomočjo kickstart.

Doseganje dobrega delovanja iz okolja Hadoop je odvisno od zagotavljanja ustrezne strojne in programske opreme. Torej, gradnja proizvodnega grozda Hadoop vključuje veliko premisleka glede strojne in programske opreme.

V tem članku bomo preučili različne primerjalne preizkuse o namestitvi OS in nekaj najboljših praks za uvajanje strežnika Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

Pomemben premislek in najboljši postopki za uvajanje strežnika Hadoop

Sledijo najboljši postopki za namestitev strežnika Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

  • Hadoop strežniki za gradnjo grozda ne zahtevajo standardnih strežnikov podjetja, temveč je potrebna strojna oprema.
  • V produkcijski gruči je priporočljivo imeti od 8 do 12 podatkovnih diskov. Glede na naravo delovne obremenitve se moramo o tem odločiti. Če je gruča namenjena računalniško intenzivnim aplikacijam, je najboljša praksa, da se izognete težavam z V/I s 4 do 6 pogoni.
  • Podatkovne pogone je treba ločiti ločeno, na primer - od/data01 do/data10.
  • Konfiguracija RAID ni priporočljiva za delovna vozlišča, ker Hadoop sam zagotavlja odpornost na napake podatkov tako, da privzeto podvoji bloke v 3. JBOD je torej najboljši za delovna vozlišča.
  • Za glavne strežnike je najboljša praksa RAID 1.
  • Privzeti datotečni sistem na CentOS/RHEL 7.x je XFS. Hadoop podpira XFS, ext3 in ext4. Priporočen datotečni sistem je ext3, saj je preizkušen za dobro delovanje.
  • Vsi strežniki bi morali imeti enako različico OS, vsaj enako manjšo izdajo.
  • Najboljša praksa je, da imamo homogeno strojno opremo (vsa delovna vozlišča morajo imeti enake značilnosti strojne opreme (RAM, prostor na disku in jedro itd.).
  • Glede na delovno obremenitev grozda (uravnotežena delovna obremenitev, računalniško intenzivno, vhodno/izhodno intenzivno) in velikost se bo načrtovanje virov (RAM, CPU) na strežnik razlikovalo.

Poiščite spodnji primer za razdelitev diskov na strežnike s 24TB pomnilnika.

Namestitev CentOS 7 za uvajanje strežnika Hadoop

Stvari, ki jih morate vedeti, preden namestite strežnik CentOS 7 za strežnik Hadoop.

  • Minimalna namestitev je dovolj za strežnike Hadoop (delovna vozlišča), v nekaterih primerih je GUI mogoče namestiti samo za glavne strežnike ali strežnike za upravljanje, kjer lahko uporabimo brskalnike za spletne uporabniške vmesnike orodij za upravljanje.
  • Konfiguriranje omrežij, imena gostitelja in drugih nastavitev, povezanih z OS, lahko izvedete po namestitvi operacijskega sistema.
  • V realnem času bodo imeli prodajalci strežnikov lastno konzolo za interakcijo in upravljanje strežnikov, na primer - strežniki Dell imajo iDRAC, ki je naprava, vdelana v strežnike. Z uporabo tega vmesnika iDRAC lahko namestimo OS s sliko OS v našem lokalnem sistemu.

V tem članku smo v virtualni stroj VMware namestili OS (CentOS 7). Tu ne bomo imeli več diskov za izvajanje particij. CentOS je podoben RHEL (enaka funkcionalnost), zato bomo videli korake za namestitev CentOS.

1. Začnite s prenosom slike CentOS 7.x ISO v vaš lokalni sistem Windows in jo izberite med zagonom navideznega računalnika. Izberite »Namesti CentOS 7«, kot je prikazano.

2. Izberite jezik, privzeto bo angleščina in kliknite nadaljevanje.

3. Izbira programske opreme - izberite "Minimalna namestitev" in kliknite "Končano".

4. Nastavite korensko geslo, kot bo zahtevalo, da nastavimo.

5. Namembni kraj namestitve - To je pomemben korak, da bodite previdni. Izbrati moramo disk, na katerega je treba namestiti operacijski sistem, za operacijski sistem je treba izbrati namenski disk. Kliknite »Namembni kraj namestitve« in izberite Disk, v realnem času bo na voljo več diskov, izbrati moramo, prednostno »sda«.

6. Druge možnosti shranjevanja - Izberite drugo možnost (konfiguriral bom particijo), da konfigurirate particijo, povezano z OS, kot je/var,/var/log,/home,/tmp,/opt,/swap.

7. Ko končate, začnite namestitev.

8. Ko je namestitev končana, znova zaženite strežnik.

9. Prijavite se v strežnik in nastavite ime gostitelja.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

V tem članku smo pregledali korake namestitve OS in najboljše postopke za particioniranje datotečnega sistema. Vse to so splošne smernice, glede na naravo delovne obremenitve se bomo morda morali osredotočiti na več odtenkov, da bomo dosegli najboljšo učinkovitost grozda. Načrtovanje grozdov je umetnost za skrbnika Hadoop. V naslednjem članku se bomo podrobno poglobili v predpogoje na ravni OS in utrjevanje varnosti.