Data Engineer Databricks – Lyon

Job Description

Le décor de votre futur poste

KOMEET TECHNOLOGIES est une entreprise innovante spécialisée dans le développement et l'exploitation de solutions numériques pour les entreprises. Fondée en 2015 à Paris, elle compte aujourd'hui plus de 150 collaborateurs dédiés à la transformation digitale des organisations. La culture de l'entreprise se caractérise par une forte collaboration, un esprit d'équipe et une volonté constante d'amélioration continue.

Ce que vous ferez en tant que Data Engineer Databricks – Lyon

• Concevoir et développer des pipelines de données robustes et évolutifs sur la plateforme Databricks.
• Optimiser les performances des pipelines existants tout en assurant leur maintenabilité et leur fiabilité.
• Gérer l'ingestion de données complexes à partir de multiples sources, y compris des systèmes traditionnels et des sources de données modernes.
• Utiliser Delta Lake pour gérer efficacement les ensembles de données, assurant la cohérence et l'intégrité des données.
• Concevoir et mettre en œuvre des pipelines déclaratifs avec Spark Declarative Pipelines pour une gestion simplifiée des flux de données.

💼 Le secteur Data Engineer recrute activement : parcourez nos offres d'emploi en Data Engineer.

Le candidat que nous recherchons

• Diplôme d'ingénieur ou équivalent dans un domaine informatique ou mathématiques.
• Deux à trois ans d’expérience en tant que Data Engineer, avec une spécialisation dans la plateforme Databricks.
• Bonne maîtrise de l'Apache Spark via PySpark et Spark SQL pour le développement de pipelines de données.
• Connaissance approfondie des mécanismes clés de Delta Lake, notamment le Delta log, ACID, schema evolution et time travel.
• Expérience dans la gestion de l'ingestion de données à grande échelle, y compris les méthodes d'ingestion de données de la plateforme Databricks.

Competences techniques requises

• Bonne maîtrise de la plateforme Databricks.
• Utilisation avancée d’Apache Spark via PySpark et Spark SQL pour le développement de pipelines Data.
• Connaissance des mécanismes clés de Delta Lake, notamment le Delta log, ACID, schema evolution et time travel.

À découvrir également : le poste de Data engineer.

Rémunération proposée

💰 45k-55k €/an

Ou nous trouver

📍 Paris, France

Voir la carte en plein écran ↗