Apache Kafka Tutorial proporciona els conceptes bàsics i avançats d'Apache Kafka. Aquest tutorial està dissenyat tant per a principiants com per a professionals.
Apache Kafka és una plataforma de programari de processament de fluxos de codi obert que s'utilitza per gestionar l'emmagatzematge de dades en temps real. Funciona com a intermediari entre dues parts, és a dir, un emissor i un receptor. Pot gestionar uns bilions d'esdeveniments de dades en un dia.
El viatge tutorial d'Apache Kafka cobrirà tots els conceptes, des de la seva arquitectura fins als seus conceptes bàsics.
Què és Apache Kafka
Apache Kafka és una plataforma de programari que es basa en un procés de streaming distribuït. És un sistema de missatgeria de publicació i subscripció que també permet l'intercanvi de dades entre aplicacions, servidors i processadors. Apache Kafka va ser desenvolupat originalment per LinkedIn , i més tard es va donar a l'Apache Software Foundation. Actualment, es manté per Confluent sota l'Apache Software Foundation. Apache Kafka ha resolt el problema letàrgic de la comunicació de dades entre un emissor i un receptor.
Què és un sistema de missatgeria
Un sistema de missatgeria és un simple intercanvi de missatges entre dues o més persones, dispositius, etc. Un sistema de missatgeria de publicació-subscripció permet que un remitent enviï/escrigui el missatge i un receptor el llegeixi. A Apache Kafka, un remitent es coneix com a productor qui publica missatges, i un receptor es coneix com a consumidor qui consumeix aquest missatge subscrivint-lo.
Què és el procés de streaming
Un procés de streaming és el processament de dades en sistemes connectats en paral·lel. Aquest procés permet que diferents aplicacions limiten l'execució paral·lela de les dades, on un registre s'executa sense esperar la sortida del registre anterior. Per tant, una plataforma de streaming distribuïda permet a l'usuari simplificar la tasca del procés de streaming i l'execució paral·lela. Per tant, una plataforma de streaming a Kafka té les següents capacitats clau:
- Tan bon punt es produeixen els fluxos de registres, el processa.
- Funciona de manera similar a un sistema de missatgeria empresarial on publica i subscriu fluxos de registres.
- Emmagatzema els fluxos de registres d'una manera duradora tolerant a errors.
Per aprendre i entendre Apache Kafka, els aspirants haurien de conèixer les quatre API bàsiques següents:
API del productor: Aquesta API permet/permet que una aplicació publiqui fluxos de registres sobre un o més temes. (que es comentarà a la secció posterior)
API del consumidor: Aquesta API permet que una aplicació subscrigui un o més temes i processi el flux de registres produïts per a ells.
API de fluxos: Aquesta API permet que una aplicació transformi eficaçment els fluxos d'entrada als fluxos de sortida. Permet que una aplicació actuï com un processador de flux que consumeix un flux d'entrada d'un o més temes i produeix un flux de sortida a un o més temes de sortida.
API del connector: Aquesta API executa les API de productors i consumidors reutilitzables amb els sistemes de dades o aplicacions existents.
Per què Apache Kafka
Apache Kafka és una plataforma de programari que té els motius següents que descriuen millor la necessitat d'Apache Kafka.
- Apache Kafka és capaç de gestionar milions de dades o missatges per segon.
- Apache Kafka funciona com a mediador entre el sistema font i el sistema objectiu. Així, les dades del sistema font (productor) s'envien a l'Apache Kafka, on desacobla les dades, i el sistema de destinació (consumidor) consumeix les dades de Kafka.
- Apache Kafka té un rendiment extremadament alt, és a dir, té un valor de latència molt baix inferior a 10 ms, cosa que demostra que és un programari versat.
- Apache Kafka té una arquitectura resistent que ha resolt complicacions inusuals en l'intercanvi de dades.
- Organitzacions com NETFLIX, UBER, Walmart, etc. i més de milers d'empreses d'aquest tipus fan ús d'Apache Kafka.
- Apache Kafka és capaç de mantenir la tolerància a errors. La tolerància a errors significa que de vegades un consumidor consumeix amb èxit el missatge que va ser lliurat pel productor. Però, el consumidor no pot processar el missatge de nou a causa d'un error de la base de dades de fons o per la presència d'un error al codi del consumidor. En aquesta situació, el consumidor no pot tornar a consumir el missatge. En conseqüència, Apache Kafka ha resolt el problema reprocessant les dades.
- Aprendre Kafka és una bona font d'ingressos. Així, aquells que vulguin augmentar els seus ingressos en el futur en el sector informàtic poden aprendre.
Requisit previ
Els aspirants han de tenir coneixements bàsics de programació Java i alguns coneixements d'ordres de Linux.
Públic
Aquest viatge d'Apache Kafka està dissenyat per a principiants, desenvolupadors i persones que volen aprendre coses noves.
Problemes
Assegurem que no trobareu cap problema en aquest Apache KafkaTutorial. Però si hi ha algun error, si us plau, publiqueu el problema en un formulari de contacte.