Comment fonctionne une IA générative ?
Les assistants conversationnels et les générateurs d'images se sont installés dans le quotidien. Derrière l'impression de magie, des principes que l'on peut comprendre.
Une intelligence artificielle générative produit du contenu nouveau : du texte, des images, du son, du code. Elle ne puise pas des réponses toutes faites dans une base de données. Elle génère ses réponses à partir de régularités apprises sur d'immenses quantités d'exemples.
Les modèles de langage : prédire la suite
Au cœur des assistants conversationnels se trouve un grand modèle de langage. Son principe de base est étonnamment simple : à partir d'un début de texte, prédire le morceau de texte le plus probable qui vient ensuite. Le texte est découpé en petites unités appelées tokens, qui correspondent à des mots ou des morceaux de mots.
Le modèle génère sa réponse token par token : il calcule des probabilités pour la suite, en choisit un, l'ajoute au texte, puis recommence. C'est en répétant cette opération des centaines de fois qu'il produit une réponse entière.
L'apprentissage
Le pré-entraînement
Le modèle est d'abord entraîné sur de très grands volumes de textes. Il s'exerce sans cesse à prédire le token suivant, et ses milliards de paramètres, des nombres ajustables, sont corrigés à chaque erreur. À force, il capte la grammaire, des connaissances générales et des façons de raisonner présentes dans les textes.
L'ajustement
Un modèle seulement pré-entraîné complète du texte mais ne se comporte pas encore en assistant. On l'affine ensuite avec des exemples de dialogues et des évaluations humaines pour qu'il suive les instructions, réponde de façon utile et évite certains contenus.
L'architecture Transformer
La plupart des modèles actuels reposent sur l'architecture Transformer, présentée par des chercheurs en 2017. Son idée clé est le mécanisme d'attention : pour interpréter chaque mot, le modèle pèse l'importance de tous les autres mots du texte. Dans « le chat ne monte pas sur la table car elle est trop haute », l'attention aide à relier « elle » à « table ». Cette architecture se prête aussi très bien au calcul parallèle sur des processeurs graphiques, ce qui a permis d'entraîner des modèles de plus en plus grands.
Le modèle ne consulte pas une encyclopédie : il produit le texte qui lui paraît le plus plausible, d'après ce qu'il a appris.
Et les images ?
Les générateurs d'images utilisent souvent des modèles de diffusion. Pendant l'entraînement, on ajoute progressivement du bruit à des images jusqu'à les rendre méconnaissables, et le modèle apprend à faire le chemin inverse. Pour créer une image, il part d'un bruit aléatoire et le débruite étape par étape, en se laissant guider par la description textuelle fournie.
Les limites à connaître
- Les erreurs plausibles : un modèle peut produire avec assurance des informations fausses, que l'on appelle souvent des hallucinations. Il faut vérifier les faits importants auprès de sources fiables.
- Les connaissances datées : un modèle connaît surtout ce qui figurait dans ses données d'entraînement, sauf s'il peut consulter des sources à jour.
- Les biais : les données d'entraînement reflètent les biais des textes et images produits par les humains.
- Le coût énergétique : entraîner et faire fonctionner ces modèles demande beaucoup de calcul et d'électricité.
Bien s'en servir
- Donner du contexte et des consignes précises : le format attendu, le public visé, les contraintes.
- Fournir les documents de référence quand on veut une réponse fondée sur eux.
- Relire et vérifier, surtout les chiffres, les citations et les sources.
- Éviter de partager des données personnelles ou confidentielles sans connaître les conditions d'utilisation du service.
Questions fréquentes
Une IA générative comprend-elle ce qu'elle écrit ?
La question fait débat. Ces modèles manipulent des représentations très riches du langage, mais leur fonctionnement diffère profondément de la compréhension humaine.
L'IA générative apprend-elle de nos conversations ?
Cela dépend des services et des réglages. Les conditions d'utilisation précisent si les échanges peuvent servir à améliorer les modèles.
Comment repérer un contenu généré par une IA ?
Il n'existe pas de méthode infaillible. Des marquages invisibles et des mentions obligatoires se développent, notamment avec la réglementation européenne sur l'IA.