Tech lead Expert Data Retrieval RAG H/F

Le rôle et son périmètre

Cette offre d'emploi concerne un poste de Tech Lead Expert Data Retrieval RAG H/F au sein d'OUICODING, une entreprise moderne en informatique et digital. Le candidat sera responsable du développement et de la maintenance des systèmes nécessaires à l’ingestion, le traitement et le stockage des données juridiques, tout en collaborant étroitement avec l’équipe technique pour intégrer ces données dans les modèles de langage (LLM).

Le rôle se situe au cœur du processus d'ingestion de données juridiques hétérogènes et de leur transformation en informations utiles, facilitant ainsi la recherche de documents en temps réel. L’objectif est de moderniser le secteur juridique à l’échelle européenne, transformant ainsi la manière dont les professionnels du droit travaillent quotidiennement.

• Conception et développement des pipelines d'ingestion
• Optimisation de la qualité et de l'intégrité des données juridiques
• Développement et maintenance des systèmes d'indexation
• Collaboration avec l'équipe technique pour intégrer les données traitées dans les modèles LLM

Responsabilités de développement

Les principales responsabilités du Tech Lead incluent la conception et la mise en œuvre des pipelines d'ingestion pour la collecte et le traitement de sources hétérogènes. Il sera également chargé d’optimiser la qualité et l'intégrité des données juridiques à travers des processus d'ingestion robustes et fiables, tout en développant et maintenant des systèmes d'indexation pour faciliter la recherche de documents juridiques en temps réel.

En collaboration étroite avec l'équipe technique, le candidat sera responsable de l'intégration des données traitées dans les modèles LLM. Il devra également assurer la maintenance et l'amélioration continue des systèmes existants, garantissant ainsi leur performance optimale.

• Conception des pipelines d'ingestion
• Optimisation de la qualité et intégrité des données juridiques
• Développement et maintenance des systèmes d'indexation
• Intégration des données traitées dans les modèles LLM

Profil recherché

Des 5 à 10 ans d'expérience dans le développement et la maintenance des systèmes d'ingestion de données, ainsi qu'une formation en informatique, mathématiques appliquées ou sciences du numérique sont nécessaires. Un diplôme d'ingénieur ou un master est également requis.

• 5 à 10 ans d'expérience
• Bac +5 et plus : Diplôme d'ingénieur ou master en informatique, mathématiques appliquées ou sciences du numérique

Profils concernés par cette offre

Cette offre s’adresse aux candidats ayant une expérience significative dans le développement et la maintenance des systèmes d'ingestion de données, ainsi qu'une formation en informatique ou mathématiques appliquées. Les profils confirmés sont particulièrement recherchés.

Conseils pour préparer votre candidature

Pour préparer votre candidature, vous pouvez mettre en avant vos compétences en Python 3.11+, Go ou Java, ainsi que vos connaissances en indexation vectorielle et embeddings NLP. Des expériences antérieures dans le développement de systèmes d'ingestion de données juridiques seront également un atout.

N’oubliez pas l’importance de démontrer votre capacité à travailler avec des technologies avancées comme LangChain, Reranking et OpenAI. Une expérience en gestion d'infrastructure avec PostgreSQL, Airflow / Spark, Kafka, Redis, Docker et Kubernetes sera également valorisée.

Stack et compétences

Pour réussir dans ce rôle, le candidat doit posséder une expertise avancée en Python 3.11+, Go ou Java, ainsi qu'en indexation vectorielle avec pgvector, Weaviate, Qdrant et OpenSearch.

Dans le domaine des RAG & LLM, l'expérience avec LangChain, Reranking, OpenAI, Mistral et Bedrock est requise. Pour la gestion des données et l'infrastructure, une connaissance approfondie de PostgreSQL, Airflow / Spark, Kafka, Redis, Docker et Kubernetes est nécessaire, ainsi que des compétences en CI/CD avec Pytest et des frameworks d'évaluation de pertinence.

• Python 3.11+
• Go ou appétence Java
• Indexation vectorielle : pgvector, Weaviate, Qdrant, OpenSearch

Environnement technique

L'environnement technique de ce poste est basé sur une combinaison d'outils et de technologies avancées. Le candidat travaillera avec Python 3.11+, Go ou Java, ainsi que des indexations vectorielles comme pgvector, Weaviate, Qdrant et OpenSearch. Les compétences en embeddings et NLP sont également requises, notamment avec sentence-transformers, tokenisation et parsing de documents.

Dans le domaine de RAG (Retrieval-Augmented Generation) et LLM (Language Learning Models), des technologies telles que LangChain, Reranking, OpenAI, Mistral et Bedrock seront utilisées. Pour la gestion des données et l'infrastructure, PostgreSQL, Airflow / Spark, Kafka, Redis, Docker et Kubernetes seront nécessaires, ainsi que des outils de CI/CD comme Pytest et des frameworks d'évaluation de pertinence.

• Technologies Python 3.11+, Go ou Java
• Indexation vectorielle : pgvector, Weaviate, Qdrant, OpenSearch
• Embeddings & NLP : sentence-transformers, tokenisation, parsing de documents
• RAG & LLM : LangChain, Reranking, OpenAI, Mistral, Bedrock
• Gestion des données et infrastructure : PostgreSQL, Airflow / Spark, Kafka, Redis, Docker, Kubernetes
• Tests et évaluation : Pytest, Frameworks d'évaluation de pertinence

Informations pratiques

Informations vérifiées pour cette offre. Les éléments non communiqués à la source ne sont pas mentionnés.

• Lieu de travail : Paris, France
• Expérience attendue : 5 à 10 ans
• Formation : Bac +5 et plus, Diplôme d'ingénieur ou master en informatique, mathématiques appliquées ou sciences du numérique

Entreprise

Candidature