En recherche d'un CDI d'ingénieur IAÎle-de-France
Ibrahim Belayachi
Ingénieur IA, spécialisé en RAG et en évaluation de LLM
Je conçois des systèmes RAG (agentiques, sur graphes de connaissances, personnalisés) et les benchmarks qui vérifient qu'ils tiennent leurs promesses. Diplômé de l'UTC, passé par la R&D de Safran Tech et par un laboratoire de learning analytics en Finlande.
Interrogez mon parcours
24 passages de mon CV et de mes travaux, indexés dans votre navigateur. Quand une question demande deux documents, le graphe trace le pont qui les relie. Un LLM peut ensuite rédiger la réponse à partir des passages retrouvés : c'est un RAG complet.
Aucune clé d'embedding n'est nécessaire : la recherche des passages se fait dans votre navigateur (BM25). La clé ne sert qu'à faire rédiger la réponse ; elle reste dans ce navigateur et n'est envoyée qu'au fournisseur choisi.
Dans cette prévisualisation, les appels réseau sont bloqués : la génération fonctionne sur la version hébergée du site.
Un benchmark multi‑hop l'est-il vraiment ?
C'est la question de mon travail de recherche chez Safran Tech. Pour évaluer un RAG sur des documents confidentiels, on génère des questions synthétiques. Encore faut-il qu'une question dite multi‑hop ait réellement besoin de ses deux passages.
STARK: Auditable Synthetic Multi-Hop Benchmarks for Enterprise Retrieval-Augmented Systems
Le problème : le faux multi‑hop
Donner deux passages à un générateur ne garantit pas que la question produite exige les deux. Beaucoup de questions présentées comme multi‑hop se résolvent avec un seul passage : elles ne testent ni la recherche du second document, ni la combinaison des deux.
Générateur naïf
« Que fait la méthode extend_3d ? »
Un seul passage suffit.
STARK
« Quelles données aérodynamiques doivent être disponibles avant d'appeler extend_3d, et pourquoi le mode diffère-t-il entre rotor et stator ? »
Chaque moitié renvoie à un passage différent, C₁ puis C₂ : il faut les deux.
La méthode : générer, puis auditer
-
Structurer le corpus
Les documents sont découpés en passages qui gardent leur structure. Trois stratégies relient des passages de documents différents : mots-clés partagés, similarité d'embeddings et un workflow d'agents qui cherche un thème-pont puis valide la paire.
-
Générer sous scénario
Chaque paire reçoit un scénario : persona, style et type de question. Le LLM écrit la question, puis la réponse de référence dans un appel séparé, ce qui permet de ne régénérer que la partie fautive.
-
Auditer chaque question
QE-EVAL vérifie trois propriétés indépendantes. Un échec renvoie un feedback ciblé à l'étape 2 ; après un nombre limité d'essais, la question est écartée.
Les trois contrôles de l'étape 3, où R est la réponse de référence et C₁, C₂ les deux passages sources :
- Dctx = 1 − Acc(R̂∅, R)
- Dépendance au contexteSans aucun document, un modèle trouve-t-il déjà la réponse ? Si oui, la question teste sa mémoire, pas la recherche.
- Gref = Gnd(R, C₁ ∪ C₂)
- Ancrage de la référenceLa réponse de référence découle-t-elle bien des deux passages sources ?
- Dhop = Gref − max{Gnd(R, C₁), Gnd(R, C₂)}
- Nécessité des deux sautsLa réponse est-elle mieux ancrée avec les deux passages qu'avec le meilleur des deux pris seul ? Une valeur positive l'atteste.
Résultats : un même système, trois benchmarks
100 questions par générateur (STARK, RAGAS et DeepEval) sur le même corpus d'ingénierie interne, posées au même système RAG. L'axe A audite les questions générées, l'axe B mesure le système évalué.
Axe A : les questions générées
| STARK | |
|---|---|
| RAGAS | |
| DeepEval |
| STARK | |
|---|---|
| RAGAS | |
| DeepEval |
Axe B : le système évalué
| STARK | |
|---|---|
| RAGAS | |
| DeepEval |
| STARK | |
|---|---|
| RAGAS | |
| DeepEval |
14 points d'écart pour un même système. Sur DeepEval, il répond juste à 97 % alors qu'il ne retrouve les deux passages que pour 18 % des questions : la plupart se résolvent avec un seul.
Étiqueter une question « multi‑hop » ne la rend pas multi‑hop. Cette propriété doit s'auditer avant d'évaluer un système.
De l'article à l'outil
STARK est aussi un outil open source, sous licence Apache 2.0. Il ingère des PDF, des documents Word ou des notebooks via Docling, se configure grâce à un agent en 8 étapes (taxonomie, personas, prompts), reprend une génération interrompue là où elle s'est arrêtée, et s'utilise en ligne de commande, via une API FastAPI ou dans une interface Streamlit. Les jeux produits sortent aux formats BEIR et CSV, prêts pour les évaluateurs existants. Sur un run complet, la répartition des types de questions reste à un point près du budget visé.
Expérience
-
Mars – août 2026Paris-Saclay
Ingénieur IA (LLM, RAG, données synthétiques)
Safran Tech, centre de recherche du groupe Safran
- Pipeline Python de génération de questions-réponses multi‑hop synthétiques, pour benchmarker des systèmes RAG sur un corpus d'ingénierie interne. Il est devenu STARK.
- Knowledge graph des passages du corpus : relations lexicales et sémantiques, validées et enrichies par une approche agentique.
- Quatre architectures RAG implémentées et comparées : RAG naïf (LlamaIndex), Graph RAG, RAG agentique (LangGraph) et RAG personnalisé.
- Évaluation du retrieval avec ranx (Recall@k, MRR, nDCG) et de la génération avec RAGAS ; benchmark confronté aux générateurs de RAGAS et de DeepEval.
Outils : Python, LlamaIndex, LangGraph, LangChain, RAGAS, DeepEval, ranx, Docling, FastAPI, Streamlit
-
Sept. 2024 – févr. 2025Joensuu, Finlande
Recherche appliquée en IA générative
University of Eastern Finland, Learning Analytics Research Group
- Pipeline RAG qui produit des recommandations pédagogiques appuyées sur la littérature scientifique (LARAG, publié [1]).
- Fine-tuning LoRA de modèles Llama sur un corpus de learning analytics, avec un dataset de 25 393 questions-réponses.
- Agent conversationnel qui analyse les interactions des étudiants.
- Soutien éditorial pour l'ouvrage Advanced Learning Analytics Methods [3].
Outils : Python, Hugging Face, LoRA, Kotaemon, ChromaDB, Ollama, API Gemini
-
Depuis 2022En parallèle des études
Professeur de judo et animateur BAFA
Club ABB Judo et UCPA
J'encadre des groupes de 3 à 18 ans : pédagogie, communication et leadership, chaque semaine.
Projets
Le code est sur GitHub, les modèles et le dataset sur Hugging Face.
-
STARK
Génère des benchmarks de questions multi‑hop à partir d'un corpus d'entreprise, puis audite chaque question avant qu'elle serve à évaluer un RAG.
Python, LangChain, RAGAS, Docling, FastAPI, Streamlit
-
Llama pour la learning analytics
Fine-tuning LoRA de modèles Llama de 1 et 3 milliards de paramètres, entraînés sur un dataset synthétique de 25 393 questions-réponses généré à partir de résumés d'articles (Lens.org et Scopus).
Python, Hugging Face, LoRA, API Gemini
-
LARAG
Un RAG local nourri de 136 articles de learning analytics prédictive, pour que des enseignants obtiennent des recommandations appuyées sur la littérature. Publié [1].
Kotaemon, LangChain, ChromaDB, Ollama
-
Simulateur quantique
Application web pour explorer superposition et intrication : sphère de Bloch, états de Bell, entropie de von Neumann, mesures simulées sur 1 000 tirages. La démo, hébergée sur Render, peut mettre quelques dizaines de secondes à démarrer.
Python, Dash, Plotly, NumPy
-
Prédiction de genres musicaux
Classification et régression sur plus de 40 000 morceaux pour prédire le genre à partir de caractéristiques audio.
R, Random Forest, Elastic Net
-
Prédiction de la réussite étudiante
Modèles de classification qui repèrent les étudiants à risque, avec plus de 90 % d'accuracy.
Machine learning supervisé, learning analytics
Autres projets
Une IA Minimax avec mémoïsation pour les jeux de stratégie Gopher et Dodo (plus de 90 % de victoires contre un joueur aléatoire). Cyber Guardian, des mini-jeux de cybersécurité pour enfants, réalisés avec Soulaymane Kebli. La base de données d'une plateforme de streaming musical, en SQL et en équipe. Des structures de données en C.
Publications
-
[1]
Augmenting AI with Curated Learning Analytics Literature: Building and Initial Exploration of a Local RAG for Supporting Teachers (LARAG)
Proceedings of the 15th International Conference on e-Learning (eLearning 2024), Belgrade. CEUR-WS, vol. 3938, p. 5–11, 2025.
Publié, relecture en double aveuglePDFActesResearchGate
-
[2]
STARK: Auditable Synthetic Multi-Hop Benchmarks for Enterprise Retrieval-Augmented Systems
2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks, NeurIPS 2026. Travaux menés chez Safran Tech.
Soumis en 2026, en cours de relecturePrésentationCode
-
[3]
Advanced Learning Analytics Methods: AI, Precision and Complexity
Ouvrage collectif, 2025.
Contribution : soutien éditorialListe des contributeurs
Compétences et formation
- IA générative
- LLM, RAG agentique, Graph RAG, RAG personnalisé, fine-tuning LoRA, graphes de connaissances, données synthétiques
- Frameworks
- LlamaIndex, LangGraph, LangChain, Hugging Face, Docling, FastAPI, Streamlit
- Évaluation de LLM
- RAGAS, DeepEval, ranx, LLM-as-a-judge ; métriques de recherche Recall@k, MRR et nDCG
- Machine learning
- Classification, régression, clustering, scikit-learn, Random Forest, Elastic Net
- Langages
- Python, R, SQL, C ; Git
- Langues
- Français natif, anglais courant
Formation
-
Diplôme d'ingénieur, intelligence artificielle et science des données
Université de Technologie de Compiègne (UTC), bac+5, label Mathématiques
2023 – 2026. Voir les UV suivies
-
Échange universitaire
University of Eastern Finland, Joensuu
2024 – 2025
Cursus à l'UTC
Diplôme d'ingénieur en intelligence artificielle et science des données, de l'automne 2023 à 2026. Voici les UV suivies, regroupées par thème.
IA, données et recherche d'information
-
SY19
Apprentissage automatique (machine learning)
Apprentissage supervisé et non supervisé : régression, classification, sélection et validation de modèles, méthodes à noyaux et ensemblistes.
Automne 2025
-
AOS2
Apprentissage profond
Réseaux de neurones profonds : entraînement par rétropropagation, réseaux convolutifs et récurrents, architectures modernes.
Automne 2025
-
SY09
Analyse de données et data mining
Exploration et réduction de dimension (ACP, AFC), classification automatique (k-means, classification hiérarchique) et analyse discriminante.
Printemps 2025
-
LO17
Indexation et recherche d'information
Fonctionnement des moteurs de recherche : indexation de textes, modèles vectoriel et probabiliste, pondération TF-IDF, évaluation par précision et rappel. Le socle du retrieval dans un RAG.
Printemps 2025
-
SY02
Méthodes statistiques pour l'ingénieur
Estimation, intervalles de confiance, tests d'hypothèses et régression linéaire.
Printemps 2025
-
IQ01
Informatique quantique : concepts, algorithmes et applications
Qubits, superposition et intrication, portes et circuits quantiques, algorithmes fondamentaux comme ceux de Grover et de Shor.
Automne 2025
Mathématiques, probabilités et optimisation
-
MT12
Techniques mathématiques pour l'ingénieur
Outils mathématiques de l'ingénieur, dont les séries et transformées de Fourier et les équations différentielles.
Automne 2023
-
RO03
Recherche opérationnelle, optimisation combinatoire
Modéliser et résoudre des problèmes d'optimisation : programmation linéaire, graphes, flots, ordonnancement, méthodes exactes et heuristiques.
Printemps 2024
-
RO05
Modélisation de phénomènes aléatoires
Processus stochastiques : chaînes de Markov, processus de Poisson, files d'attente.
Automne 2025
-
RO06
Simulation et techniques d'optimisation
Simulation de systèmes (Monte-Carlo, événements discrets) et méthodes d'optimisation, dont les métaheuristiques.
Automne 2025
Informatique et développement
-
NF16
Algorithmique et structures de données
Complexité, structures de données (listes, piles, files, arbres, tables de hachage) et algorithmes fondamentaux, implémentés en C.
Automne 2023
-
NF18
Conception de bases de données relationnelles et non relationnelles
Modélisation conceptuelle, SQL et normalisation des bases relationnelles, introduction aux bases NoSQL. Projet d'équipe : la base d'une plateforme de streaming musical.
Printemps 2024
-
SR10
Conception et développement web
Architecture d'applications web, développement front-end et back-end, accès aux données et sécurité.
Printemps 2025
Stages et projet de recherche
-
TX00
Étude expérimentale
Projet de recherche d'un semestre, encadré par un enseignant-chercheur.
Automne 2025
-
TN09
Stage assistant ingénieur (6 mois)
Effectué à l'University of Eastern Finland, au Learning Analytics Research Group : RAG, fine-tuning de Llama et publication LARAG. Voir l'expérience
Automne 2024
-
TN10
Stage ingénieur (6 mois)
Stage de fin d'études chez Safran Tech : génération et audit de benchmarks multi‑hop, à l'origine de STARK. Voir l'expérience
Printemps 2026
Gestion, économie et qualité
-
GE37
Gestion de projet
Cadrage, planification, suivi des coûts et des délais, gestion des risques et pilotage d'équipe.
Automne 2023
-
GE10
Économie politique
Grands courants de la pensée économique et mécanismes macroéconomiques.
Automne 2023
-
FQ01
Économie globale et maîtrise de la qualité
Démarches qualité, normes et outils d'amélioration continue, replacés dans leur contexte économique.
Printemps 2024
Sciences humaines et communication
-
PH09
Éthiques : approche pluridisciplinaire
Les questions éthiques que posent les techniques, abordées par plusieurs disciplines.
Printemps 2024
-
HE01
Épistémologie et histoire des sciences
Comment se construisent les connaissances scientifiques : méthodes, controverses et grandes étapes de l'histoire des sciences.
Printemps 2025
-
SI02
Communication professionnelle de l'ingénieur
Écrits et prises de parole professionnels : rapports, présentations, travail en équipe.
Automne 2025
Langues
-
LA11–13
Anglais, niveaux I, II et III
Trois semestres d'anglais, de l'automne 2023 au printemps 2025, complétés par le travail et la publication en anglais en Finlande.
2023 – 2025
Vous recrutez un ingénieur IA ?
Je recherche un CDI en Île-de-France, autour du RAG, des agents et de l'évaluation de LLM. Le plus simple est de m'écrire.
- Téléphone
- +33 7 67 03 71 28
- in/ibrahim-belayachi
- GitHub
- Ibrahim-bel
- Hugging Face
- ibrahimBlyc
- ResearchGate
- Ibrahim-Belayachi
- Localisation
- Île-de-France