Les limites des chatbots actuels selon Gary Marcus
Les chatbots actuels peuvent-ils évoluer pour donner naissance à l’intelligence artificielle générale ? Pour Gary Marcus, cofondateur de deux startups en intelligence artificielle, la réponse est négative.
La remise en question des grands modèles de langage et de raisonnement
Apple a récemment publié un article sur « l’illusion de la pensée », soulignant les limites des grands modèles de langage (LLM) et grands modèles de raisonnement (LRM) au cœur des chatbots modernes. Suite à un certain nombre de critiques de cette publication, Gary Marcus, un psychologue cognitiviste américain spécialisé depuis de nombreuses années dans l’intelligence artificielle, a tenu à éclaircir certains points.
Gary Marcus s’est exprimé sur Substack et dans une interview avec Le Grand Continent. Pour lui, l’intelligence artificielle générale (IAG, ou AGI en anglais), une IA capable de rivaliser avec les humains, ne sera pas une évolution des LLM et LRM. Il s’oppose ainsi à des personnes comme Sam Altman, le président d’OpenAI, qui pense que l’arrivée de l’IAG est imminente. Les modèles utilisés pour l’IA générative présentent bien trop de limites, commettent trop d’erreurs, et même dans de nombreux cas sont moins performants que de simples algorithmes.
De grands modèles incapables de reproduire un algorithme simple
Il souligne notamment l’exemple du jeu des tours de Hanoï utilisé dans l’article d’Apple, que les chatbots sont incapables de résoudre correctement au-delà de 7 ou 8 disques. Un exercice assez simple avec un algorithme récursif, mais qui dépasse les chatbots, même en leur fournissant l’algorithme. Pour lui, « les modèles ont tendance à « trop réfléchir » à des problèmes simples et à tester de mauvaises réponses même après avoir trouvé la bonne. Et face à des problèmes plus difficiles, ils réfléchissent moins. Il en résulte un gaspillage de ressources de calcul d’un côté et un abandon prématuré de l’autre ».
Les LLM et LRM fonctionnent comme une boîte noire, rendant difficile toute analyse. Selon le spécialiste, « les technologies actuelles ne sont pas fiables ». Même lorsqu’ils affichent leur chaîne de pensée, elle ne reflète pas toujours ce qui se passe en réalité. Anthropic avait notamment découvert que son chatbot Claude mentait sur ce point. La conclusion de Gary Marcus est que les LLM et LRM se heurtent à un mur, et pour que l’IA continue d’avancer, il sera nécessaire d’explorer de nouvelles approches.
