Portrait d'Ibrahim Belayachi

En recherche d'un CDI d'ingénieur IAÎle-de-France

Ibrahim Belayachi

Ingénieur IA, spécialisé en RAG et en évaluation de LLM

Je conçois des systèmes RAG (agentiques, sur graphes de connaissances, personnalisés) et les benchmarks qui vérifient qu'ils tiennent leurs promesses. Diplômé de l'UTC, passé par la R&D de Safran Tech et par un laboratoire de learning analytics en Finlande.

Voir la recherche STARK

Interrogez mon parcours

24 passages de mon CV et de mes travaux, indexés dans votre navigateur. Quand une question demande deux documents, le graphe trace le pont qui les relie. Un LLM peut ensuite rédiger la réponse à partir des passages retrouvés : c'est un RAG complet.

Graphe de mon parcours24 passages répartis en six documents : Safran Tech, STARK, Profil, UEF Finlande, UTC et projets, Pédagogie. Les passages retrouvés par la question s'y allument.

Un benchmark multi‑hop l'est-il vraiment ?

C'est la question de mon travail de recherche chez Safran Tech. Pour évaluer un RAG sur des documents confidentiels, on génère des questions synthétiques. Encore faut-il qu'une question dite multi‑hop ait réellement besoin de ses deux passages.

STARK: Auditable Synthetic Multi-Hop Benchmarks for Enterprise Retrieval-Augmented Systems

Soumis au 2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks (NeurIPS 2026), en cours de relecture. Travaux menés chez Safran Tech, de mars à août 2026.

Code sur GitHub

Le problème : le faux multi‑hop

Donner deux passages à un générateur ne garantit pas que la question produite exige les deux. Beaucoup de questions présentées comme multi‑hop se résolvent avec un seul passage : elles ne testent ni la recherche du second document, ni la combinaison des deux.

Générateur naïf

« Que fait la méthode extend_3d ? »

Un seul passage suffit.

STARK

« Quelles données aérodynamiques doivent être disponibles avant d'appeler extend_3d, et pourquoi le mode diffère-t-il entre rotor et stator ? »

Chaque moitié renvoie à un passage différent, C₁ puis C₂ : il faut les deux.

Exemple tiré de la documentation publique de STARK.

La méthode : générer, puis auditer

  1. Structurer le corpus

    Les documents sont découpés en passages qui gardent leur structure. Trois stratégies relient des passages de documents différents : mots-clés partagés, similarité d'embeddings et un workflow d'agents qui cherche un thème-pont puis valide la paire.

  2. Générer sous scénario

    Chaque paire reçoit un scénario : persona, style et type de question. Le LLM écrit la question, puis la réponse de référence dans un appel séparé, ce qui permet de ne régénérer que la partie fautive.

  3. Auditer chaque question

    QE-EVAL vérifie trois propriétés indépendantes. Un échec renvoie un feedback ciblé à l'étape 2 ; après un nombre limité d'essais, la question est écartée.

Les trois contrôles de l'étape 3, où R est la réponse de référence et C₁, C₂ les deux passages sources :

Dctx = 1 − Acc(R̂∅, R)
Dépendance au contexteSans aucun document, un modèle trouve-t-il déjà la réponse ? Si oui, la question teste sa mémoire, pas la recherche.
Gref = Gnd(R, C₁ ∪ C₂)
Ancrage de la référenceLa réponse de référence découle-t-elle bien des deux passages sources ?
Dhop = Gref − max{Gnd(R, C₁), Gnd(R, C₂)}
Nécessité des deux sautsLa réponse est-elle mieux ancrée avec les deux passages qu'avec le meilleur des deux pris seul ? Une valeur positive l'atteste.

Résultats : un même système, trois benchmarks

100 questions par générateur (STARK, RAGAS et DeepEval) sur le même corpus d'ingénierie interne, posées au même système RAG. L'axe A audite les questions générées, l'axe B mesure le système évalué.

Axe A : les questions générées

Dépendance au contexteMédiane. Plus haut : moins répondable de mémoire.
STARK
0,92
RAGAS
0,70
DeepEval
0,65
Questions réellement multi‑hopPart des questions dont Dhop est positif.
STARK
56 %
RAGAS
47 %
DeepEval
33 %

Axe B : le système évalué

Deux passages retrouvésBOTH@10 : les deux passages figurent dans les 10 premiers résultats.
STARK
0,44
RAGAS
0,75
DeepEval
0,18
Précision des réponsesLe même système RAG, mesuré sur chaque benchmark.
STARK
0,83
RAGAS
0,90
DeepEval
0,97

14 points d'écart pour un même système. Sur DeepEval, il répond juste à 97 % alors qu'il ne retrouve les deux passages que pour 18 % des questions : la plupart se résolvent avec un seul.

Sur l'axe B, un score plus bas signale un test plus exigeant, pas un benchmark de moindre qualité. Sur le run complet, 537 des 571 questions générées passent l'audit (94 %).

Étiqueter une question « multi‑hop » ne la rend pas multi‑hop. Cette propriété doit s'auditer avant d'évaluer un système.

De l'article à l'outil

STARK est aussi un outil open source, sous licence Apache 2.0. Il ingère des PDF, des documents Word ou des notebooks via Docling, se configure grâce à un agent en 8 étapes (taxonomie, personas, prompts), reprend une génération interrompue là où elle s'est arrêtée, et s'utilise en ligne de commande, via une API FastAPI ou dans une interface Streamlit. Les jeux produits sortent aux formats BEIR et CSV, prêts pour les évaluateurs existants. Sur un run complet, la répartition des types de questions reste à un point près du budget visé.

Voir le dépôt STARK sur GitHub

Expérience

  1. Mars – août 2026Paris-Saclay

    Ingénieur IA (LLM, RAG, données synthétiques)

    Safran Tech, centre de recherche du groupe Safran

    • Pipeline Python de génération de questions-réponses multi‑hop synthétiques, pour benchmarker des systèmes RAG sur un corpus d'ingénierie interne. Il est devenu STARK.
    • Knowledge graph des passages du corpus : relations lexicales et sémantiques, validées et enrichies par une approche agentique.
    • Quatre architectures RAG implémentées et comparées : RAG naïf (LlamaIndex), Graph RAG, RAG agentique (LangGraph) et RAG personnalisé.
    • Évaluation du retrieval avec ranx (Recall@k, MRR, nDCG) et de la génération avec RAGAS ; benchmark confronté aux générateurs de RAGAS et de DeepEval.

    Outils : Python, LlamaIndex, LangGraph, LangChain, RAGAS, DeepEval, ranx, Docling, FastAPI, Streamlit

  2. Sept. 2024 – févr. 2025Joensuu, Finlande

    Recherche appliquée en IA générative

    University of Eastern Finland, Learning Analytics Research Group

    • Pipeline RAG qui produit des recommandations pédagogiques appuyées sur la littérature scientifique (LARAG, publié [1]).
    • Fine-tuning LoRA de modèles Llama sur un corpus de learning analytics, avec un dataset de 25 393 questions-réponses.
    • Agent conversationnel qui analyse les interactions des étudiants.
    • Soutien éditorial pour l'ouvrage Advanced Learning Analytics Methods [3].

    Outils : Python, Hugging Face, LoRA, Kotaemon, ChromaDB, Ollama, API Gemini

  3. Depuis 2022En parallèle des études

    Professeur de judo et animateur BAFA

    Club ABB Judo et UCPA

    J'encadre des groupes de 3 à 18 ans : pédagogie, communication et leadership, chaque semaine.

Projets

Le code est sur GitHub, les modèles et le dataset sur Hugging Face.

  • STARK

    Génère des benchmarks de questions multi‑hop à partir d'un corpus d'entreprise, puis audite chaque question avant qu'elle serve à évaluer un RAG.

    Python, LangChain, RAGAS, Docling, FastAPI, Streamlit

  • Llama pour la learning analytics

    Fine-tuning LoRA de modèles Llama de 1 et 3 milliards de paramètres, entraînés sur un dataset synthétique de 25 393 questions-réponses généré à partir de résumés d'articles (Lens.org et Scopus).

    Python, Hugging Face, LoRA, API Gemini

  • LARAG

    Un RAG local nourri de 136 articles de learning analytics prédictive, pour que des enseignants obtiennent des recommandations appuyées sur la littérature. Publié [1].

    Kotaemon, LangChain, ChromaDB, Ollama

  • Simulateur quantique

    Application web pour explorer superposition et intrication : sphère de Bloch, états de Bell, entropie de von Neumann, mesures simulées sur 1 000 tirages. La démo, hébergée sur Render, peut mettre quelques dizaines de secondes à démarrer.

    Python, Dash, Plotly, NumPy

  • Prédiction de genres musicaux

    Classification et régression sur plus de 40 000 morceaux pour prédire le genre à partir de caractéristiques audio.

    R, Random Forest, Elastic Net

  • Prédiction de la réussite étudiante

    Modèles de classification qui repèrent les étudiants à risque, avec plus de 90 % d'accuracy.

    Machine learning supervisé, learning analytics

Autres projets

Une IA Minimax avec mémoïsation pour les jeux de stratégie Gopher et Dodo (plus de 90 % de victoires contre un joueur aléatoire). Cyber Guardian, des mini-jeux de cybersécurité pour enfants, réalisés avec Soulaymane Kebli. La base de données d'une plateforme de streaming musical, en SQL et en équipe. Des structures de données en C.

Tous les dépôts

Publications

  1. [1]

    S. López-Pernas, I. Belayachi, H. Ahmed, R. Elmoazen, M. Saqr

    Augmenting AI with Curated Learning Analytics Literature: Building and Initial Exploration of a Local RAG for Supporting Teachers (LARAG)

    Proceedings of the 15th International Conference on e-Learning (eLearning 2024), Belgrade. CEUR-WS, vol. 3938, p. 5–11, 2025.

    Publié, relecture en double aveuglePDFActesResearchGate

  2. [2]

    STARK: Auditable Synthetic Multi-Hop Benchmarks for Enterprise Retrieval-Augmented Systems

    2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks, NeurIPS 2026. Travaux menés chez Safran Tech.

    Soumis en 2026, en cours de relecturePrésentationCode

  3. [3]

    M. Saqr, S. López-Pernas (dir.)

    Advanced Learning Analytics Methods: AI, Precision and Complexity

    Ouvrage collectif, 2025.

    Contribution : soutien éditorialListe des contributeurs

Compétences et formation

IA générative
LLM, RAG agentique, Graph RAG, RAG personnalisé, fine-tuning LoRA, graphes de connaissances, données synthétiques
Frameworks
LlamaIndex, LangGraph, LangChain, Hugging Face, Docling, FastAPI, Streamlit
Évaluation de LLM
RAGAS, DeepEval, ranx, LLM-as-a-judge ; métriques de recherche Recall@k, MRR et nDCG
Machine learning
Classification, régression, clustering, scikit-learn, Random Forest, Elastic Net
Langages
Python, R, SQL, C ; Git
Langues
Français natif, anglais courant

Formation

  • Diplôme d'ingénieur, intelligence artificielle et science des données

    Université de Technologie de Compiègne (UTC), bac+5, label Mathématiques

    2023 – 2026. Voir les UV suivies

  • Échange universitaire

    University of Eastern Finland, Joensuu

    2024 – 2025

Cursus à l'UTC

Diplôme d'ingénieur en intelligence artificielle et science des données, de l'automne 2023 à 2026. Voici les UV suivies, regroupées par thème.

IA, données et recherche d'information

  • SY19

    Apprentissage automatique (machine learning)

    Apprentissage supervisé et non supervisé : régression, classification, sélection et validation de modèles, méthodes à noyaux et ensemblistes.

    Automne 2025

  • AOS2

    Apprentissage profond

    Réseaux de neurones profonds : entraînement par rétropropagation, réseaux convolutifs et récurrents, architectures modernes.

    Automne 2025

  • SY09

    Analyse de données et data mining

    Exploration et réduction de dimension (ACP, AFC), classification automatique (k-means, classification hiérarchique) et analyse discriminante.

    Printemps 2025

  • LO17

    Indexation et recherche d'information

    Fonctionnement des moteurs de recherche : indexation de textes, modèles vectoriel et probabiliste, pondération TF-IDF, évaluation par précision et rappel. Le socle du retrieval dans un RAG.

    Printemps 2025

  • SY02

    Méthodes statistiques pour l'ingénieur

    Estimation, intervalles de confiance, tests d'hypothèses et régression linéaire.

    Printemps 2025

  • IQ01

    Informatique quantique : concepts, algorithmes et applications

    Qubits, superposition et intrication, portes et circuits quantiques, algorithmes fondamentaux comme ceux de Grover et de Shor.

    Automne 2025

Mathématiques, probabilités et optimisation

  • MT12

    Techniques mathématiques pour l'ingénieur

    Outils mathématiques de l'ingénieur, dont les séries et transformées de Fourier et les équations différentielles.

    Automne 2023

  • RO03

    Recherche opérationnelle, optimisation combinatoire

    Modéliser et résoudre des problèmes d'optimisation : programmation linéaire, graphes, flots, ordonnancement, méthodes exactes et heuristiques.

    Printemps 2024

  • RO05

    Modélisation de phénomènes aléatoires

    Processus stochastiques : chaînes de Markov, processus de Poisson, files d'attente.

    Automne 2025

  • RO06

    Simulation et techniques d'optimisation

    Simulation de systèmes (Monte-Carlo, événements discrets) et méthodes d'optimisation, dont les métaheuristiques.

    Automne 2025

Informatique et développement

  • NF16

    Algorithmique et structures de données

    Complexité, structures de données (listes, piles, files, arbres, tables de hachage) et algorithmes fondamentaux, implémentés en C.

    Automne 2023

  • NF18

    Conception de bases de données relationnelles et non relationnelles

    Modélisation conceptuelle, SQL et normalisation des bases relationnelles, introduction aux bases NoSQL. Projet d'équipe : la base d'une plateforme de streaming musical.

    Printemps 2024

  • SR10

    Conception et développement web

    Architecture d'applications web, développement front-end et back-end, accès aux données et sécurité.

    Printemps 2025

Stages et projet de recherche

  • TX00

    Étude expérimentale

    Projet de recherche d'un semestre, encadré par un enseignant-chercheur.

    Automne 2025

  • TN09

    Stage assistant ingénieur (6 mois)

    Effectué à l'University of Eastern Finland, au Learning Analytics Research Group : RAG, fine-tuning de Llama et publication LARAG. Voir l'expérience

    Automne 2024

  • TN10

    Stage ingénieur (6 mois)

    Stage de fin d'études chez Safran Tech : génération et audit de benchmarks multi‑hop, à l'origine de STARK. Voir l'expérience

    Printemps 2026

Gestion, économie et qualité

  • GE37

    Gestion de projet

    Cadrage, planification, suivi des coûts et des délais, gestion des risques et pilotage d'équipe.

    Automne 2023

  • GE10

    Économie politique

    Grands courants de la pensée économique et mécanismes macroéconomiques.

    Automne 2023

  • FQ01

    Économie globale et maîtrise de la qualité

    Démarches qualité, normes et outils d'amélioration continue, replacés dans leur contexte économique.

    Printemps 2024

Sciences humaines et communication

  • PH09

    Éthiques : approche pluridisciplinaire

    Les questions éthiques que posent les techniques, abordées par plusieurs disciplines.

    Printemps 2024

  • HE01

    Épistémologie et histoire des sciences

    Comment se construisent les connaissances scientifiques : méthodes, controverses et grandes étapes de l'histoire des sciences.

    Printemps 2025

  • SI02

    Communication professionnelle de l'ingénieur

    Écrits et prises de parole professionnels : rapports, présentations, travail en équipe.

    Automne 2025

Langues

  • LA11–13

    Anglais, niveaux I, II et III

    Trois semestres d'anglais, de l'automne 2023 au printemps 2025, complétés par le travail et la publication en anglais en Finlande.

    2023 – 2025

Vous recrutez un ingénieur IA ?

Je recherche un CDI en Île-de-France, autour du RAG, des agents et de l'évaluation de LLM. Le plus simple est de m'écrire.

Téléphone
+33 7 67 03 71 28
LinkedIn
in/ibrahim-belayachi
GitHub
Ibrahim-bel
Hugging Face
ibrahimBlyc
ResearchGate
Ibrahim-Belayachi
Localisation
Île-de-France