Data Engineer databricks (H/F)

Description du poste

Issy-les-Moulineaux (92) — Nous recherchons un Data Engineer Databricks confirmé (H/F) pour intégrer une équipe agile au sein d'une grande entreprise internationale basée à Neuilly-sur-Seine. Vous serez au cœur d'un projet de transformation data qui vise à optimiser la gestion et l'industrialisation des pipelines de données.

Missions

• Concevoir et développer des pipelines de données performants et évolutifs sur Databricks
• Développer les traitements en Python / PySpark et SQL
• Optimiser les pipelines existants pour améliorer les temps de traitement
• Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données
• Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements
• Participer à la mise en place et à l’adoption des Databricks Asset Bundles
• Intégrer les développements dans les processus CI/CD
• Travailler avec des outils de gestion de projets et d'analyse de données
• Collaborer étroitement avec l'équipe technique pour assurer la qualité du code et des pipelines

Profil recherché

• Bac+5 en informatique, mathématiques ou équivalent
• A minimum 5 ans d'expérience dans le domaine de l'ingénierie des données et du développement de pipelines ETL
• Expertise avancée en Python, SQL et Databricks
• Bonne connaissance des outils CI/CD tels que Jenkins ou GitLab CI
• Compétences en gestion de clusters et d'ordonnancement
• Maîtrise des bonnes pratiques de partitionnement et de gestion des données
• Bonne connaissance des méthodologies agiles pour la gestion de projets
• Niveau avancé en anglais, oral et écrit, pour échanger efficacement avec les équipes internationales

Compétences

• Databricks
• Python
• SQL
• Jenkins ou GitLab CI

Localisation du poste

Entreprise

Candidature