Le texte, pour nous, est une organisation sophistiquée de concepts. Nous passons des années de notre jeunesse à apprendre à construire des phrases correctes et sensées. L'assemblage de leurs étiquettes, les mots, doit respecter les règles de la syntaxe ; le sens des phrases résulte d'une construction plus subtile parce que transparente, qui dépend de la signification des mots dont la base est fournie par un dictionnaire et par nos sens, du contexte, d'un ensemble de connaissances variables dont les représentations sont multiples, et qui doit correspondre à une réalité visuelle, cognitive, qui est en outre personnelle.

Comment le langage est-il compris, puis produit par une intelligence artificielle ? Une analyse exhaustive est probablement effectuée dans les laboratoires de langue. Ici, on se contentera d'observer ce que nous en dit YLC dans son ouvrage de 2019, et d'inférer quelques hypothèses. Les pages qu'il y consacre brossent le tableau d'une recherche extrêmement dynamique, dont il donne quelques détails sur les bases.

Pour l'IA, le texte est traduit en vecteurs [suites de nombres] par le procédé d'enchâssement :

L’enchâssement (embedding) consiste à représenter une image, une vidéo ou un texte par un vecteur. Ce vecteur est calculé par un réseau de neurones. Il faut entraîner ce réseau pour que deux vecteurs représentant des contenus similaires soient proches l’un de l’autre, et que deux vecteurs représentant des contenus différents soient éloignés.[1]

Ce procédé est appliqué aux mots :

À chaque mot du dictionnaire est associé un vecteur de 100 à 1 000 dimensions. Ces vecteurs sont appris, de sorte que des mots semblables sont représentés par des vecteurs proches (en termes de distance euclidienne) […] On dispose ensuite d’une liste de vecteurs – une LUT (look-up table) – qui, pour chaque indice de mot, donne un vecteur d’enchâssement[2] .

L'apprentissage des vecteurs ressemble les informations qui permettent de calculer les données syntaxiques et sémantiques dans un texte :

Après apprentissage, on se sert des vecteurs de la LUT pour représenter les mots. Ils contiennent toute l’information permettant au système de prédire le mot suivant [de la phrase], à la fois son sens et son rôle syntaxique. Le système a été entraîné avec de nombreuses phrases, comme « le lait est sur la table », mais jamais « la voiture est sur la table ». Dans la phrase « il a vu le chien dans le jardin » et « le chat est dans le jardin », les mots « chien » et « chat » apparaissent dans des contextes similaires. Le système attribue spontanément des vecteurs d’enchâssement similaires à « chat » et « chien », mais des vecteurs différents à « lait » et « voiture ». De même, les noms de lieu, les noms de mois, etc. Plus généralement, quand des mots jouent un rôle analogue dans la phrase, leurs vecteurs d’enchâssement sont proches[3] .

Pour élaborer le sens d'une phrase, on utilise un réseau transformeur :

Un module encodeur élabore une représentation du sens de la phrase. À l’entrée de l’encodeur, chaque mot est représenté par un vecteur. Le vecteur associé à chaque mot est appris. L’encodeur combine ces vecteurs dans un réseau dit « transformeur » à l’architecture complexe qui représente le sens sous forme de séquence de vecteurs[4] .

Les pages suivantes éclairent :

Fin 2017, à son tour, un groupe de Google utilise des circuits d’attention à grande échelle pour un système de traduction. Leur article porte le titre « Attention is all you need », (« L’attention est tout ce dont vous avez besoin »). Ils baptisent leur architecture « le Transformeur ».[…] Nous reviendrons sur l’idée générale d’apprentissage autosupervisé. Dans le cas présent, il consiste à montrer une séquence de mots extraite d’un texte en entrée d’un gros réseau « transformeur », de masquer 10 à 20 % des mots et d’entraîner le système à prédire les mots manquants. Pour cela, le système doit apprendre le sens des mots et la structure des phrases. La représentation interne des mots et des phrases apprises par un réseau de ce type entraîné sur des milliards de phrases est excellente, suffisamment bonne pour servir d’entrée à un système de traduction ou de compréhension[5] .

Bien que tout ce qu'on sache ici d'un réseau transformeur, c'est que son architecture est complexe, qu'il a été entraîné sur des milliards de phrases, comme il manipulerait « l’attention », on peut supposer comment s'y sont pris les ingénieurs : il combine des rôles identiques à ceux que nous attribuons à nos concepts lorsque nous analysons la phrase. Risquons une petite excursion dans quelques hypothèses en phase avec le point de vue exposé à la page structure.

*****

Après la lecture des pages structure de ce site, on peut accepter facilement que le sens d'une phrase puisse être formalisé dans une structure valuée de groupes ordonnés et/ou imbriqués : celle-ci représentera l'organisation des concepts mis en jeu dans la phrase. C'est une structure ouverte : un mot, qui est une étiquette, peut représenter plusieurs concepts, d'une part ; et d'autre part, chaque concept dépend des connaissances de la personne - du sujet - qui le met en œuvre. La fonction syntaxique associée renseigne, si nécessaire, sur la structure à laquelle le mot appartient, qui fournit son domaine de définition, c‑à‑d. la classe de concepts acceptés pour remplir cette fonction.

L'état des poids dans un réseau de neurones qui porte le sens d'une phrase constitue alors une structure d'autorisation. Il accepte cette phrase et des phrases voisines parce que celles-ci ont une structure de groupes identique ou semblable à celle de la phrase en question. Que dit YLC à ce sujet :

Dans la phrase « il a vu le chien dans le jardin » et « le chat est dans le jardin », les mots « chien » et «chat » apparaissent dans des contextes similaires. Le système attribue spontanément des vecteurs d’enchâssement similaires à chat et chien[6] .

C'est bien ce qui se passerait avec la phrase « l'animal est dans le jardin » : un réseau qui l'exprimerait en vecteurs d'enchâssement considérerait comme valides les phrases « le chat est dans le jardin » et « le chien est dans le jardin » parce que les vecteurs seraient similaires. De notre point de vue, la structure des groupes représentés dans chacune des phrases l'est également, puisque le groupe représentant chat et celui représentant chien sont des sous-groupes du groupe représentant « animal ».

Dans le réseau cependant, cette structure d'autorisation ne renvoie pas à des groupes, comme le fait notre analyse. On pourrait dire que ceux-ci sont dans la structure des poids, mais à l'état latent. YLC écrit :

Dans un réseau multicouche, on peut voir les premières couches comme des extracteurs de caractéristiques. Cependant, à l’inverse des méthodes classiques, cet extracteur de caractéristiques n’est pas conçu « à la main », mais automatiquement produit par l’apprentissage. C’est ce qui fait tout le charme des réseaux multicouches entraînés par rétropropagation[7] .

Les caractéristiques sont bien réelles, mais ne sont pas explicites. Elles ne sont pas représentables par des concepts donc par des groupes - même s'il s'agit d'invariants - parce qu'elles sont distribuées dans les valeurs des poids du système - ce pourquoi on dit parfois que les réseaux sont des boîtes noires. Il en résulte que nos groupes sont bien représentés dans le réseau, mais non identifiables en tant que tels. Par ailleurs, tout dépend de la manière dont on organise la similarité et la dissimilarité dans les vecteurs d'enchâssement, c‑à‑d. comment on entraîne le réseau.

En résumé, un réseau transformeur aurait donc stocké à la fois les compétences d'un dictionnaire et celles d'une grammaire, qu'il aurait apprises :

La représentation interne des mots et des phrases apprises par un réseau de ce type entraîné sur des milliards de phrases est excellente, suffisamment bonne pour servir d’entrée à un système de traduction ou de compréhension[8].

*****

Au regard de notre méthode d'humain, cette représentation nous semble bien abstraite, et on se demande si la machine « comprend » réellement le sens d'un texte en manipulant des chiffres. Pourtant, aux « poids » chiffrés des neurones artificiels correspondent bien les complexes réactions chimiques dans chaque synapse de chaque neurone de notre cerveau. En outre, il nous arrive d'agir de manière similaire, par exemple lorsque nous comparons les différentes compréhensions d'un même mot à l'aide de leur proxémie (ensemble de mots dont le sens est proche du mot), comme nous le faisons à la page ORIGINE de ce site, ancre CHAOS ET TERRE : notre compréhension contemporaine de CHAOS n'a plus rien à voir avec celle (probable) des Grecs anciens.

L’IA n’est dotée d’aucun concept. Elle n’a pas de culture. Elle ne comprend rien[9] .

Sous couvert de ces hypothèses, on peut revoir cette assertion attribuée par YLC à E. MACRON à propos du rapport sur l'IA de Cédric VILLANI. Qui ne pouvait en tout cas être prononcée que par un Français, fier de son siècle des lumières. Aucun concept, certainement, mais elle construit tout ce qu'il faut qui puisse être associé à ces étiquettes. Pas de culture, soit, mais elle accède à une énorme bibliothèque de données qui nous est directement inaccessible. Dire enfin qu'elle ne comprend rien c'est, semble-t-il, pécher par excès. Certes, l'IA n'a, aujourd'hui encore, aucune compréhension du monde, et donc effectivement elle ne comprend rien au monde. Mais son système de compréhension des langages (si on inclut les mathématiques, puisqu'elle démontre des conjectures restées en suspens), aussi différent du nôtre soit-il est, lui, performant, sans pour autant jamais atteindre les productions des sujets humains, comme nous l'esquissons dans notre page sur l'IA et la conceptualisation.

été 2026