Data Engineer Senior

Diseño y optimización de soluciones de datos: Diseñar, construir y optimizar soluciones de datos de extremo a extremo sobre Azure Databricks , asegurando rendimiento, confiabilidad, seguridad y eficiencia en costos.

Procesamiento de datos: Coordinar el funcionamiento de los diferentes entornos donde se ejecutan los procesos de procesamiento de datos, asegurando su correcta operación.

ETL e integración de datos: Extraer, transformar y cargar datos de acuerdo con las necesidades del negocio, desarrollando integraciones eficientes que permitan realizar la ingesta de la información requerida.

Integración continua: Generar flujos de integración continua que permitan validar de forma eficaz los desarrollos y procesos implementados.

Mentoría: Mentorizar a ingenieros junior, promoviendo buenas prácticas de desarrollo y soluciones escalables.

Mejora continua: Proponer e implementar mejoras tecnológicas que permitan optimizar los flujos y soluciones de datos.

Principales retos

• Diseñar y mantener estructuras de datos eficientes, escalables e intuitivas.

• Mantener buenas prácticas de código en el desarrollo de soluciones.

• Procesar volúmenes de datos en crecimiento sin incrementar de forma descontrolada los costos en la nube.

• Implementar mecanismos de data quality sin afectar la velocidad de procesamiento.

• 3-5 años de experiencia en Data Engineering o Ingeniería de Software con manejo de grandes volúmenes de datos.

• Experiencia trabajando con Azure Databricks .

• Experiencia en procesos de extracción, transformación, carga e integración de datos .

• Conocimientos de arquitectura de datos, infraestructura y computación en la nube , preferiblemente Azure.

• Experiencia aplicando buenas prácticas de desarrollo e integración continua .

• Postgrado o especialización en Ingeniería de Datos, Big Data o Arquitectura Cloud.

• Experiencia específica trabajando con servicios y arquitectura sobre Microsoft Azure .