L'architecture d'Albert

Albert est une intelligence artificielle dite "fine-tunée", donc entraînée pour mieux répondre à des besoins spécifiques. Explications.

Le modèle LLaMA 3

Albert est une intelligence artificielle basée sur le modèle LLaMA 3. Il s'agit d'un modèle d’intelligence artificielle de base, ou modèle pré-entraîné. Cela signifie qu’il a été formé sur une énorme quantité de données générales, comme des livres, des articles ou des pages web, pour comprendre et générer du langage. Mais ce modèle n’est pas automatiquement prêt à répondre à des besoins spécifiques, comme répondre à des questions sur le fonctionnement des services publics français.

En effet, le contexte changeant des institutions et l'évolution normative quasi-constante ne permet pas à un modèle classique (ChatGPT, LLaMA 3, etc.) de prendre en compte des changements rapprochés. A titre d'exemple, questionner ChatGPT sur le montant de l'Allocation Adulte Handicapée ou celui du RSA n'est pas possible.

Principes du fine-tuning

C’est là qu’intervient le fine-tuning. On adapte le modèle pour qu’il devienne expert dans un domaine précis, ici le service public. Ainsi, en développant une évolution continue, on rend Albert presque "agent".

Albert se base pour cela sur une grande base de données textuelles. Outre la collecte des données auprès des producteurs (DILA, DGAFP, etc), il est nécessaire de les préparer, en retirant tous les artefacts (images, schémas, etc). Après cela, une étape de ré-entraînement est nécessaire, sans pour autant “sur-entrainer” le modèle. Ainsi, le modèle se spécialise mathématiquement dans une tâche.

En termes freudiens, le modèle original est une forme de “ça”, quand le fine-tuning ajoute une couche de “surmoi” pour aboutir à un "moi", non pas intelligence artificielle mais agent administratif artificiel.

Corpus de « ré-entraînement »

Albert se base sur un corpus de 845 documents publics, composé à 47,3 % de droit dur (décrets, arrêtés, codes), 28,4 % de droit souple (circulaires, jurisprudences) et 24,3 % de sources non normatives (FAQ, fiches pratiques, guides, formations et statuts particuliers).

Un corpus relativement petit...

Dans des IA basées sur le système RAG (Retrieval-Augmented Generation), les corpus utilisés contiennent souvent des dizaines de milliers ou des millions de documents, surtout pour des domaines larges comme le droit, la médecine ou les services financiers.

En comparaison, un corpus de 845 documents est adapté à des cas très ciblés, mais il reste trop petit pour couvrir des sujets complexes ou répondre à des questions inattendues, ce qui implique nécessairement l'usage d'un modèle de fondation.

De plus, les IA génératives sont initialement pré-entraînées sur des corpus massifs contenant des centaines de teraoctets de données textuelles, couvrant une vaste diversité de sujets, langages et contextes. Comparé à ce pré-entraînement gigantesque, un corpus de 845 documents est très limité en termes de volume et de diversité.

Enfin, même si les 845 documents représentent un corpus spécialisé, leur couverture thématique reste limitée. Les modèles RAG combinent la génération de texte (via un modèle préentraîné) avec un module de récupération d'informations. Le module de récupération nécessite une diversité suffisante pour répondre à une large gamme de questions. Avec 845 documents, certaines questions pourraient ne pas trouver de réponse complète ou bien les informations contextuelles pourraient être absentes.

Et hétéroclite

Le format, la qualité, et la préparation des sources d’une IA générative comptent énormément. Les documents doivent être bien structurés et propres (pas de bruit ou d'informations inutiles) et doivent être correctement indexés dans le système de récupération (vecteurs sémantiques précis).

Or dans le cas d’Albert, les sources ne sont pas hiérarchisées, elles ont donc toutes le même poids quelle que soit leur nature : des informations contenues dans une FAQ valent autant que celles d’une circulaire ou d’un décret. Pourtant, la rédaction syndicale n’est pas la même que celle de la Direction générale de l’Administration et de la fonction publique (DGAFP). Des éléments de vulgarisation à destination du public côtoient des textes de lois, pouvant parfois se contredire, ce qui peut troubler le message.

Mathématiquement, Albert va avoir davantage tendance à citer du droit dur, qui constitue près de la moitié du corpus de ré-entraînement. Une analyse lexicale avec le logiciel Iramuteq permet de mettre en évidence cette référence privilégiée au droit dur. Les formes lexicales revenant le plus souvent dans le corpus sont les mots “article” (220 033 occurrences), “mentionner” (54 689 occurrences), “prévoir” (49 836 occurrences), “public” (47 341 occurrences) et “disposition” (39 693 occurrences).

Enfin, nos tests montrent que l’IA “jargonne” : son corpus de ré-entraînement contient de nombreux acronymes et tournures administratives, pas toujours compréhensibles pour le grand public (par exemple “CSFPE”, “RIFSEEP”, “ETP” …).