Databricks
¿Qué es Databricks?
Databricks es la plataforma unificada de analítica, ingeniería de datos y machine learning en la nube, fundada en 2013 por los creadores originales de Apache Spark. Ofrece un entorno gestionado sobre AWS, Azure (Azure Databricks) y Google Cloud donde corren notebooks Spark colaborativos, pipelines ETL con Delta Live Tables, entrenamiento distribuido de modelos con MLflow y MosaicML, consultas SQL analíticas tipo data warehouse con Databricks SQL, y gestión unificada vía Unity Catalog. Popularizó el concepto de Lakehouse: un data lake transaccional (con Delta Lake) que combina lo mejor de data warehouse y data lake. Integra genAI con Mosaic AI (su plataforma para construir y desplegar LLMs y agentes) y con proveedores externos vía AI Gateway. Es la plataforma preferida por grandes empresas para analítica y ML a escala, con clientes españoles como BBVA, Santander, Mapfre, Telefónica, Inditex, Glovo y Cabify.
¿Por qué aprender Databricks?
Databricks es una de las plataformas más demandadas en ofertas españolas de Data Engineering y Machine Learning, con crecimiento anual del 40-60 por ciento. Los ingenieros de datos con Databricks cobran entre 45.000 y 80.000 euros, y los ML Engineers con Databricks y MLflow entre 55.000 y 95.000. Las certificaciones (Data Engineer Associate, Data Engineer Professional, ML Associate) son muy valoradas y se pueden preparar en 40-80 horas con buen ROI profesional.