Cette section du site vise à présenter des notions spécifiques liées à l'intelligence artificielle et la biçbliographie mobilisée.
L'enquête nécessite de maîtriser des notions complémentaires aux enseignements que nous présentons ici.
La notion de souveraineté est un point essentiel d'Albert. Le cours mentionne la puissance de calcul des entreprises américaines, sans toutefois dire où en sont les entreprises françaises dans l’ensemble. Une I.A. peut être mise au service d’une puissance politique et lui servir dans la poursuite de ses tactiques et stratégies. Il peut être utile d’y ajouter un développement concernant la croissance des I.A. souveraines ces dernières années et les perspectives d’avenir en la matière. Nous pensons que nombre d’étudiants de Sciences Po assistant au cours seraient sensibles à l’évocation de ces objets d’études et des enjeux qui leur sont sous-jacents.
Nous suggérons d’ajouter que l’intelligence artificielle générative est l’ensemble des modèles d’ I.A. générant du texte, des images, des vidéos, et autres contenus. Ils incluent les modèles de processing de langage naturel (N.L.P.) et les modèles de langage larges (L.L.M.), entre autres.
Le logiciel open source est ainsi développé et maintenu grâce à une collaboration ouverte. En effet, le code source du logiciel, dit ouvert, est disponible pour que chacun puisse l’utiliser, l'examiner, le modifier et le redistribuer librement, sans restriction d’accès et généralement sans frais. C'est en élément essentiel pour assurer la souveraineté du modèle, en étant nstanciable sur tout serveur à un cout maîtrisé.
Le centre de recherche sur les modèles de base (C.R.F.M.) du Stanford Institute for Human-Centered Artificial Intelligence (H.A.I.) a inventé le terme de modèle de fondation pour désigner « tout modèle entraîné sur un gros volume de données (généralement en utilisant l'apprentissage auto-supervisé à grande échelle sur des données non annotées) qui peut être adapté (par exemple, affiné) à un large éventail de tâches en aval ».
La génération (de données) augmentée par la récupération (R.A.G.) est le processus consistant à optimiser le résultat d'un grand modèle de langage. Elle fait donc appel à une base de connaissances fiable externe aux sources de données utilisées pour l'entraîner avant de générer une réponse. In fine, cette technique permet à l’I.A. de générer une réponse augmentée par la récupération d’informations. La R.A.G. étend les capacités déjà très puissantes des L.L.M. à des domaines spécifiques ou à la base de connaissances interne d'une organisation, le tout sans qu'il soit nécessaire de réentraîner le modèle. Il s'agit d'une approche économique pour améliorer les résultats du L.L.M. et qu'ils restent cohérents, précis et utiles dans de nombreux contextes.
C’est une méthode d’entraînement des modèles qui les rend plus efficaces et les fait donner de meilleurs résultats. En effet, cette technique permet de spécialiser un modèle pré-entraîné de Machine Learning (comme BERT et GPT) sur une tâche spécifique. Il s’agit d’un affinage qui se concentre sur des jeux de données restreintes et spécialisées, une nouvelle tâche. Dans ce but, on ajuste certains paramètres du modèle tels que les taux d’apprentissage, le poids des neurones et d’autres hyperparamètres, et on suit un processus itératif. L’intérêt principal de cette méthode est de donner au modèle la capacité à généraliser à de nouveaux secteurs et en même temps, de se spécialiser : le modèle est adapté à la nouvelle tâche tout en conservant ses connaissances préalables. Il existe de nombreuses applications du fine-tuning. Par exemple, en vision par ordinateur, un modèle pré-entraîné sur une vaste collection d’images peut être fine-tuné pour détecter des objets particuliers dans un contexte spécifique tel qu’un véhicule autonome ou une caméra de surveillance. Le processus de fine-tuning inclut plusieurs étapes et il existe des stratégies d’affinage avancées.