Kafka
¿Qué es Kafka?
Apache Kafka es la plataforma distribuida de streaming y mensajería más usada para arquitecturas event-driven y procesamiento de datos en tiempo real. Creada en LinkedIn en 2010 por Jay Kreps, Neha Narkhede y Jun Rao (fundadores luego de Confluent), liberada en 2011, hoy es top-level Apache. Funciona como commit log distribuido, persistente y tolerante a fallos: los productores publican mensajes en topics particionados, los consumers leen desde offsets y los datos se replican entre brokers. Procesa billones de eventos diarios en empresas como LinkedIn, Netflix, Uber, Airbnb, Spotify y en España Telefónica, BBVA, Santander y Cabify. Se complementa con Kafka Streams (procesamiento stateful), ksqlDB (SQL sobre streams), Kafka Connect (ETL), Schema Registry (versionado de esquemas Avro/Protobuf/JSON) y servicios gestionados como Confluent Cloud, AWS MSK, Azure Event Hubs (compatibilidad Kafka). Es columna vertebral de muchas arquitecturas modernas de microservicios, data pipelines, CDC y streaming analytics.
¿Por qué aprender Kafka?
Kafka es uno de los skills más demandados y mejor pagados en backend, data engineering y plataformas modernas en España. Los developers senior con Kafka ganan entre 55.000 y 90.000 euros, y los ingenieros de streaming y event-driven arquitectos pueden superar los 100.000. Es clave en bancos (Santander, BBVA), telco (Telefónica), fintech, logística (Cabify, Glovo) y cualquier empresa con necesidad de procesar datos en tiempo real. Dominarlo marca diferencia enorme en entrevistas técnicas.