Plus de données, encore plus de données, toujours plus de données. L’intelligence artificielle repose sur une stratégie simple : augmenter les données et la puissance de calcul. Cette méthode, appelée “scaling”, a permis des progrès impressionnants. Nous l’avons tous constaté ces dernières années. Cependant, elle atteint désormais ses limites. Les modèles comme GPT-4 stagnent, malgré leurs tailles gigantesques. Ils peinent à résoudre des problèmes fondamentaux, comme le raisonnement abstrait ou l’adaptation à des situations inédites. L’heure est peut-être venue de repenser les fondements de l’IA.
EN BREF
- Les grands modèles d’IA stagnent, ils sont incapables de généraliser ou de raisonner.
- Ils mémorisent des données sans réelle compréhension ni adaptation aux tâches inédites.
- Yann LeCun propose une IA centrée sur le raisonnement et la planification.
- Des méthodes comme le Test Time Training (TTT) ou l’ARC explorent des solutions pour améliorer la généralisation.
- L’avenir de l’IA repose sur la compréhension et la planification, pas sur l’augmentation des données et des paramètres.
Le Scaling en perte de vitesse
Entraîner des modèles toujours plus grands, sur des quantités colossales de données, grâce à de puissantes infrastructures matérielles. C’est ce qu’on appelle le scaling. C’est la méthode qui domine depuis plusieurs années et qui a permis l’émergence de ChatGPT. Mais cette méthode montre ses limites et les gains de performance sont de plus en plus modestes.
Les grands modèles, comme les LLM (Large Language Models), s’appuient sur des données massives pour identifier des schémas. Mais cette méthode reste superficielle : ces modèles mémorisent mais ne comprennent pas.
Les limites sont visibles dans plusieurs domaines. Par exemple, les modèles de génération vidéo produisent souvent des résultats incohérents. Ils ne respectent pas les lois physiques ; ils ne modélisent pas le monde de façon réaliste. En fait, ces systèmes ne dépassent pas la simple corrélation statistique.
De plus, les benchmarks actuels favorisent la mémorisation et évaluent mal la capacité à généraliser ou à raisonner. Il se trouve en fait que les modèles échouent régulièrement sur des tests comme l’Abstraction and Reasoning Corpus. Cela montre que l’IA, dans son état actuel, ne peut pas rivaliser avec la pensée humaine.
Le Dino World Model : une vision ambitieuse
Face à ces défis, Yann LeCun propose une alternative. Son projet, le « Dino World Model« , s’éloigne des approches traditionnelles et cherche à reproduire des capacités cognitives plus complexes.
Contrairement aux LLM, le Dino World Model ne dépend pas de données massives. Il utilise des représentations visuelles pour anticiper les conséquences des actions. Grâce à cette approche, il excelle en généralisation. Il s’adapte à des environnements nouveaux et variés.
Le Dino World Model fonctionne différemment. Il simule et planifie les actions, au lieu de mémoriser des motifs. Cette stratégie s’inspire directement des mécanismes cognitifs humains. Ce projet marque une rupture importante en misant sur la compréhension et la réflexion plutôt que sur la puissance brute.
Des discours alarmistes qui faussent le débat
Pendant ce temps, les experts IA qui ont champignonné ces dernières années occupent l’espace médiatique. Certains prédisent l’émergence imminente d’une super-intelligence incontrôlable. D’autres amplifient les capacités réelles des modèles actuels pour attirer des financements.
« There is no wall » tweetait de manière énigmatique Sam Altman.
Or ce n’est pas la réalité. Il y a bien un mur : celui de la compréhension. Les modèles d’IA actuels ne comprennent pas le monde. Ils ne modélisent pas leurs environnements de manière autonome. Et ces fantasmes détournent l’attention des véritables défis scientifiques.
La recherche doit donc se recentrer sur des objectifs plus réalistes. Créer une IA capable de généraliser et de raisonner reste un défi immense. Les systèmes actuels, malgré leurs prouesses, en sont encore loin.
Explorer des approches innovantes
De nouvelles pistes commencent à émerger. Par exemple, le « Test Time Training » (TTT) permet d’ajuster les paramètres d’un modèle pendant l’inférence. Une méthode qui améliore les performances en temps réel.
D’autres projets, comme l’Abstraction and Reasoning Corpus (ARC), visent à tester des compétences fondamentales. Ils cherchent à évaluer la capacité des modèles à résoudre des tâches inédites. Ces initiatives encouragent le développement de systèmes plus flexibles et adaptatifs et diffèrent radicalement du scaling. Elles favorisent une intelligence plus profonde, ancrée dans la compréhension.
Un avenir à réinventer
L’intelligence artificielle entre peut-être dans une nouvelle phase. L’ère du scaling touche à sa fin et les chercheurs vont devoir miser sur des systèmes capables de penser, de planifier et de s’adapter.
Le Dino World Model semble répondre à ce besoin. Il propose une voie plus ambitieuse, centrée sur la réflexion et la généralisation. Mais il reste des efforts considérables à fournir. Les priorités doivent être repensées, avec un retour aux fondamentaux.
L’IA doit dépasser la quête du gigantisme. L’avenir ne repose pas sur la taille des modèles, mais sur leur capacité à comprendre et à interagir avec le monde.