Kako namestiti Apache Kafka v CentOS/RHEL 7

Apache Kafka je zmogljiv mehanizem za sporočanje, ki se pogosto uporablja v projektih BigData in življenjskem ciklu Data Data. Je odprtokodna platforma za izgradnjo cevovodov za pretakanje podatkov v realnem času. Je distribuirana platforma za objavo in naročanje z zanesljivostjo, razširljivostjo in trajnostjo.

Kafko imamo lahko samostojno ali kot skupino. Kafka shrani pretočne podatke in jih lahko kategoriziramo kot teme. Tema bo imela številne particije, da bo lahko obdelala poljubno količino podatkov. Prav tako imamo lahko več kopij za odporne na napake, kot jih imamo v HDFS. V gruči Kafka je posrednik komponenta, ki hrani objavljene podatke.

Zookeeper je obvezna služba za upravljanje grozda Kafka, saj se uporablja za upravljanje koordinacije posrednikov Kafka. Zookeeper ima ključno vlogo med proizvajalcem in potrošnikom, kjer je odgovoren za vzdrževanje stanja vseh posrednikov.

V tem članku bomo razložili, kako namestiti Apache Kafka v eno vozlišče CentOS 7 ali RHEL 7.

Namestitev Apache Kafke v CentOS 7

1. Najprej morate v sistem namestiti Javo, da zaženete Apache Kafka brez napak. Torej namestite privzeto razpoložljivo različico Jave z naslednjim ukazom yum in preverite različico Java, kot je prikazano.

# yum -y install java-1.8.0-openjdk
# java -version

2. Nato prenesite najnovejšo stabilno različico Apache Kafke z uradnega spletnega mesta ali uporabite naslednji ukaz wget, da jo prenesete neposredno in izvlečete.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Ustvarite simbolno povezavo za paket kafka, nato dodajte pot okolja Kafka v datoteko .bash_profile in jo inicializirajte, kot je prikazano.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Nato zaženite Zookeeper, ki je vgrajen s paketom Kafka. Ker gre za skupino z enim vozliščem, lahko skrbnika zoo zaženete s privzetimi lastnostmi.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Preverite, ali je skrbnik živalskega vrta dostopen ali ne, s preprostim telnetom do vrat 2181 Zookeeper.

# telnet localhost 2181

6. Zaženite Kafko s privzetimi lastnostmi.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Preverite, ali je Kafka dostopen ali ne, s preprostim telnetom do vrat Kafka 9092

# telnet localhost 9092

8. Nato ustvarite vzorčno temo.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Naštejte ustvarjeno temo.

# kafka-topics.sh --zookeeper localhost:2181 --list

V tem članku smo videli, kako namestiti grozd Kafka z enim vozliščem v CentOS 7. Kako namestiti gručo Kafka z več vozli, bomo videli v naslednjem članku.