Data Engineer Databricks Paris

Job Description

L'entreprise et son secteur

Créée en 2015, KOMEET TECHNOLOGIES est une entreprise parisienne spécialisée dans le développement d'outils et de solutions numériques pour les entreprises. Notre mission est de transformer les données brutes en informations stratégiques grâce à des technologies avancées comme Databricks. Nous valorisons la créativité, l’innovation et le travail d'équipe au sein de notre culture ouverte et dynamique.

Ce que vous ferez en tant que Data Engineer Databricks Paris

• Concevoir et mettre en place des pipelines Data robustes pour traiter et analyser les données massives provenant de divers sources
• Développer et maintenir des pipelines Data utilisant Apache Spark via PySpark et Spark SQL
• Utiliser Delta Lake pour gérer efficacement les ensembles de données, garantissant l'intégrité transactionnelle et la capacité à évoluer le schéma des données
• Gérer différentes méthodes d'ingestion de données pour optimiser le flux de travail
• Appliquer le framework Spark Declarative Pipelines pour automatiser les processus de traitement de données
• Maintenir une bonne observabilité des pipelines Data, permettant un suivi en temps réel et une résolution rapide des problèmes

Le candidat que nous recherchons

• Diplôme d'ingénieur ou de master dans le domaine informatique ou équivalent
• Expérience significative en tant que Data Engineer, avec une expertise particulière sur Databricks et Spark
• Bonne maîtrise des concepts avancés d’Apache Spark via PySpark et Spark SQL
• Connaissance approfondie de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel)
• Expérience dans la conception et l'implémentation de pipelines Data robustes et évolutifs
• Compétences en gestion des données massives et en optimisation du traitement de données
• Capacité à travailler en équipe et à communiquer efficacement les résultats d’analyse aux parties prenantes

💼 Envie d'élargir votre recherche ? Toutes nos opportunités en Data Engineer sont mises à jour chaque jour.

Competences techniques requises

• Bonne maîtrise de la plateforme Databricks dans un contexte Data Engineering
• Utilisation avancée d’Apache Spark via PySpark et Spark SQL pour le développement de pipelines Data
• Connaissance de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel)
• Maîtrise des différentes méthodes d'ingestion de données de la plateforme
• Connaissance et implémentation du framework Spark Declarative Pipelines
• Bonne capacité à assurer la maintenabilité, l’évolutivité et l’observabilité des pipelines Data

Dans le même domaine, jetez un œil au poste de Data engineer.

Rémunération proposée

💰 45k-60k €/an

Notre adresse

📍 Paris, France

Voir la carte en plein écran ↗