in

Un chercheur de DeepMind affirme qu’une nouvelle IA pourrait conduire à l’AGI, dit que « le jeu est terminé »


Selon le docteur Nando de Freitas, chercheur principal chez DeepMind de Google, l’humanité est apparemment sur le point de résoudre l’intelligence générale artificielle (IAG) au cours de notre vie.

En réponse à un article d’opinion rédigé par votre serviteur, le scientifique a publié un fil de discussion sur Twitter qui a commencé par ce qui est peut-être la déclaration la plus audacieuse que nous ayons vue de quiconque chez DeepMind concernant ses progrès actuels vers l’IAG :

Mon avis : Tout est question d’échelle maintenant ! Le jeu est terminé!

Salutations humanoïdes

Abonnez-vous maintenant pour un récapitulatif hebdomadaire de nos histoires préférées sur l’IA

Voici le texte intégral du fil de de Freitas :

Article d’opinion de quelqu’un. Mon avis : Tout est question d’échelle maintenant ! Le jeu est terminé! Il s’agit de rendre ces modèles plus gros, plus sûrs, plus efficaces en calcul, plus rapides à l’échantillonnage, une mémoire plus intelligente, plus de modalités, des DONNÉES INNOVANTES, on/offline, … 1/N

Résoudre ces défis de mise à l’échelle est ce qui fournira l’AGI. Des recherches axées sur ces problèmes, par exemple S4 pour une plus grande mémoire, sont nécessaires. La philosophie des symboles ne l’est pas. Les symboles sont des outils dans le monde et les grands réseaux n’ont aucun problème à les créer et à les manipuler 2/n

Enfin et surtout, [OpenAI co-founder Ilya Sutskever] @ilyasut a raison [cat emoji]

Rich Sutton a raison aussi, mais la leçon d’IA n’est pas amère mais plutôt douce. je l’ai appris de [Google researcher Geoffrey Hinton] @geoffreyhinton il y a dix ans. Geoff a prédit ce qui était prévisible avec une clarté étonnante.

Il y a beaucoup à déballer dans ce fil, mais « tout est question d’échelle maintenant » est une déclaration assez difficile à mal interpréter.

Comment on est venu ici?

DeepMind a récemment publié un article de recherche et publié un article de blog sur son nouveau système d’IA multimodal. Surnommé «Gato», le système est capable d’effectuer des centaines de tâches différentes allant du contrôle d’un bras de robot à l’écriture de poésie.

La société l’a surnommé un système « généraliste », mais n’est pas allé jusqu’à dire qu’il était en aucune façon capable d’intelligence générale – vous pouvez en savoir plus sur ce que cela signifie ici.

Il est facile de confondre quelque chose comme Gato avec AGI. La différence, cependant, est qu’une intelligence générale pourrait apprendre à faire de nouvelles choses sans formation préalable.

Dans mon article d’opinion, j’ai comparé Gato à une console de jeu :

La capacité de Gato à effectuer plusieurs tâches ressemble plus à une console de jeu vidéo pouvant stocker 600 jeux différents qu’à un jeu auquel vous pouvez jouer de 600 façons différentes. Ce n’est pas une IA générale, c’est un tas de modèles étroits pré-formés soigneusement regroupés.

Ce n’est pas une mauvaise chose, si c’est ce que vous recherchez. Mais il n’y a tout simplement rien dans le document de recherche accompagnant Gato pour indiquer qu’il s’agit même d’un coup d’œil dans la bonne direction pour AGI, et encore moins d’un tremplin.

Le docteur de Freitas n’est pas d’accord. Ce n’est pas surprenant, mais ce que j’ai trouvé choquant, c’est le deuxième tweet de leur fil :

Le morceau là-haut traitant de la «philosophie sur les symboles» aurait pu être écrit en réponse directe à mon article d’opinion. Mais aussi sûr que les criminels de Gotham savent ce que signifie le Bat Signal, ceux qui suivent le monde de l’IA savent que mentionner les symboles et AGItogether est un moyen infaillible d’invoquer Gary Marcus.

Entre Gary

Marcus, scientifique de renommée mondiale, auteur et fondateur et PDG de Robust.AI, a passé ces dernières années à plaider pour une nouvelle approche de l’IAG. Il pense que l’ensemble du domaine doit changer sa méthodologie de base pour construire l’AGI, et a écrit un livre à succès à cet effet intitulé « Rebooting AI » avec Ernest Davis.

Il a débattu et discuté de ses idées avec tout le monde, de Yann LeCun de Facebook à Yoshua Bengio de l’Université de Montréal.

Et, pour l’édition inaugurale de sa newsletter sur Substack, Marcus a repris les déclarations de de Freitas dans ce qui équivalait à une expression de réfutation fougueuse (mais respectueuse).

Marcus qualifie l’hyper-évolutivité des modèles d’IA de voie perçue vers l’AGI « Scaling Uber Alles », et fait référence à ces systèmes comme des tentatives d' »intelligence alternative » – ​​par opposition à artificiel intelligence qui essaie d’imiter l’intelligence humaine.

Au sujet de l’exploration de DeepMind, il écrit :

Il n’y a rien de mal, en soi, à poursuivre Alt Intelligence.

Alt Intelligence représente une intuition (ou plus exactement, une famille d’intuitions) sur la façon de construire des systèmes intelligents, et puisque personne ne sait encore comment construire un type de système qui correspond à la flexibilité et à l’ingéniosité de l’intelligence humaine, c’est certainement un jeu équitable pour les gens. de poursuivre plusieurs hypothèses différentes sur la façon d’y arriver.

Nando de Freitas est à peu près aussi direct que possible pour défendre cette hypothèse, que j’appellerai Scaling-Uber-Alles. Bien sûr, ce nom, Scaling-Uber-Alles, n’est pas tout à fait juste.

De Freitas sait très bien (comme je l’expliquerai ci-dessous) que vous ne pouvez pas simplement agrandir les modèles et espérer le succès. Les gens ont fait beaucoup de mise à l’échelle ces derniers temps et ont obtenu de grands succès, mais se sont également heurtés à des barrages routiers.

Marcus poursuit en décrivant le problème d’incompréhensibilité qui inonde les modèles géants de l’industrie de l’IA.

Essentiellement, Marcus semble affirmer que peu importe à quel point des systèmes impressionnants et étonnants tels que DALL-E d’OpenAI (un modèle qui génère des images sur mesure à partir de descriptions) ou Gato de DeepMind, ils sont toujours incroyablement fragiles.

Il écrit:

La nouvelle star de DeepMind, qui vient d’être dévoilée, Gato, est capable d’exploits intermodaux jamais vus auparavant dans l’IA, mais quand vous regardez dans les petits caractères, reste coincé dans le même pays de manque de fiabilité, des moments de brillance couplés à une incompréhension absolue.

Bien sûr, il n’est pas rare que les défenseurs de l’apprentissage en profondeur fassent valoir que les humains font aussi des erreurs.

Mais quiconque est franc reconnaîtra que ce genre d’erreurs révèle que quelque chose ne va pas du tout, pour l’instant. Si l’un de mes enfants commettait régulièrement des erreurs comme celles-ci, je n’exagérerais pas, je laisserais tomber tout ce que je fais et je les amènerais immédiatement chez le neurologue.

Bien que cela vaille certainement la peine de rire, il y a là une nuance sérieuse. Lorsqu’un chercheur de DeepMind déclare que « le jeu est terminé », cela évoque une vision de l’avenir immédiat ou à court terme qui n’a pas de sens.

AGI ? Vraiment?

Non plus Gato, DALL-E, ni GPT-3 sont suffisamment robustes pour une consommation publique sans entraves. Chacun d’eux nécessite des filtres durs pour les empêcher de basculer vers le biais et, pire, aucun d’entre eux n’est capable de produire des résultats solides de manière cohérente. Et pas seulement parce que nous n’avons pas trouvé la sauce secrète pour coder l’AGI, mais aussi parce que les problèmes humains sont souvent difficiles et qu’ils n’ont pas toujours une solution unique et entraînable.

On ne sait pas comment la mise à l’échelle, même associée à des algorithmes logiques révolutionnaires, pourrait résoudre ces problèmes.

Cela ne signifie pas que les modèles géants ne sont pas des efforts utiles ou dignes.

Ce que font DeepMind, OpenAI et des laboratoires similaires est très important. C’est la science à la pointe.

Mais déclarer que le jeu est terminé ? Pour insinuer que l’AGI naîtra d’un système dont la contribution distinctive est la manière dont il sert les modèles ? Gato est incroyable, mais cela ressemble à un étirement.

Il n’y a rien dans la réfutation fougueuse de de Freitas pour changer mon opinion.

Les créateurs de Gato sont évidemment brillants. Je ne suis pas pessimiste à propos d’AGI parce que Gato n’est pas assez époustouflant. Plutôt l’inverse, en fait.

Je crains qu’AGI ne soit éloigné de plusieurs décennies – des siècles, peut-être – à cause de Gato, DALL-E et GPT-3. Ils démontrent chacun une percée dans notre capacité à manipuler les ordinateurs.

Ce n’est rien de moins que miraculeux de voir une machine réaliser des exploits de détournement et de prestidigitation à la Copperfield, surtout quand on comprend que ladite machine n’est pas plus intelligente qu’un grille-pain (et manifestement plus stupide que la souris la plus stupide).

Pour moi, il est évident que nous aurons besoin de plus que juste… Suite… pour prendre l’IA moderne de l’équivalent de « est-ce votre carte? » à la sorcellerie gandalfienne d’AGI qui nous a été promise.

Comme le conclut Marcus dans sa newsletter :

Si nous voulons construire l’IAG, nous allons devoir apprendre quelque chose des humains, comment ils raisonnent et comprennent le monde physique, et comment ils représentent et acquièrent le langage et les concepts complexes.

C’est de l’orgueil pur de croire le contraire.



What do you think?

8.8k Points
Upvote Downvote

Photo Lizzy Caplan

Elon Musk Says a Lower Price for Twitter Is ‘Not Out of the Question’