Depuis l’Antiquité, les mathématiques servent à sonder les limites de l’intelligence humaine. À chaque époque, leurs énigmes ont été mises au service d’une quête plus vaste, celle de la compréhension du raisonnement. Aujourd’hui, cette ambition se prolonge à travers les machines, appelées à résoudre des problèmes que les philosophes utilisaient pour former l’esprit. L’un d’eux, issu du dialogue de Platon, permet justement de révéler les failles comme les promesses du raisonnement mathématique de ChatGPT.
Une énigme de l’Antiquité pour tester l’intelligence des machines
Tout commence avec une question vieille de plus de deux millénaires. Dans le dialogue Ménon de Platon, Socrate confronte un jeune esclave à un problème simple en apparence. Il s'agit de doubler l’aire d’un carré sans en quadrupler la taille. Le garçon tente d’abord de doubler la longueur des côtés, échoue, puis finit par découvrir, guidé par Socrate, que la diagonale du carré original permet d’obtenir une nouvelle figure dont la surface est exactement doublée. Ce passage fondateur a longtemps nourri le débat philosophique sur l’origine de la connaissance.
Pour Nadav Marco, chercheur invité à l’université de Cambridge, et Andreas Stylianides, professeur en didactique des mathématiques, ce vieux problème constituait le terrain idéal pour interroger le fonctionnement des grands modèles de langage. Leur objectif n’était pas de tester la mémoire brute de l’intelligence artificielle, mais de savoir si celle-ci pouvait mobiliser une forme de logique autonome lorsqu’aucune réponse évidente ne semblait disponible. Leur étude, publiée dans l’International Journal of Mathematical Education in Science and Technology, s’inspire directement de l’expérience décrite par Platon pour observer une autre forme d’élève, sans corps ni conscience.
Le raisonnement mathématique de ChatGPT face à une impasse géométrique
L’expérience consistait à poser à ChatGPT-4 la même question que Socrate, tout en modifiant légèrement la formulation au fil de la conversation. Dès les premières réponses, les chercheurs ont noté un comportement surprenant. Plutôt que de reproduire la solution bien connue impliquant la diagonale, le chatbot a opté pour une méthode algébrique fondée sur le calcul de racines carrées. Il a évité l’erreur du garçon de Platon, mais sans faire appel à la géométrie. Cette stratégie purement calculatoire semblait contredire la présence, pourtant avérée, de la solution géométrique dans les données d'entraînement du modèle.
Le choix du chatbot, largement influencé par sa formation à partir de textes et non d’images, montre ses limites dès que le raisonnement sort du cadre symbolique. Comme le résume Livescience, ce biais textuel entraîne une préférence pour des approches algébriques, même lorsque la situation suggère une réponse graphique plus élégante. Les chercheurs ont alors tenté de rediriger le dialogue, en exprimant leur déception face à cette solution approximative. Ce simple commentaire a suffi à déclencher un retournement de stratégie. ChatGPT a alors proposé la construction du carré sur la diagonale, démontrant qu’il connaissait bel et bien la réponse attendue.
Cette transition soulève une question essentielle. L’IA a-t-elle simplement fini par se souvenir de la bonne méthode ou a-t-elle modifié son raisonnement en réponse à un contexte nouveau ? La réponse reste incertaine. Toutefois, comme le souligne l’université de Cambridge dans son communiqué, la capacité de l’outil à revenir sur ses erreurs et à affiner sa logique évoque le comportement d’un élève en pleine zone de développement.
paradoxalement, me revient en tête ce poème du Grand Victor
