The Superintelligence | longandvariable

The Superintelligence | longandvariable


Attention: amateur, hors-sujet blogging à venir. Offert dans l'esprit d'acclamation d'avant Noël.

Si vous n'avez pas regardé ou lu Nick Bostrom sur la 'Superintelligence' vous n'êtes pas un omnivore culturel qui se respecte.

La «superintelligence» est un risque extrême hypothétique pour l'humanité posé par l'intelligence artificielle [AI]. Le scénario est que les capacités informatiques augmentent au point où elles deviennent aussi bonnes ou légèrement meilleures dans la pensée générale, y compris en s'appliquant à la tâche de concevoir des améliorations pour elles-mêmes.

À ce stade, les capacités se dirigent rapidement vers une «explosion» d'intelligence, chaque nouvelle modification en créant une autre. L'entité superintelligente a des capacités dépassant de loin tout individu humain, et même toute l'humanité, et, à moins qu'elle ne puisse être exploitée selon nos besoins, elle peut nous anéantir délibérément ou involontairement. C'est une formalisation d'une anxiété familière qui a traversé la science fiction depuis des lustres, à travers des films de la franchise Terminator, ou Transcendence, Wall-E, A Space Odyssey ["19459007] Je suis désolé Dave, j'ai peur de pouvoir ne fais pas ça. "]

La lettre d'information de Benedict Evans incluait un lien vers un blog de François Chollet sur ' Impossibility of the Superintelligence '. Je pense que ça ne va pas pour quelques raisons.

Chollet écrit:

"il n'y a pas d'intelligence" générale ". Sur un plan abstrait, nous le savons pour un fait par le théorème de «no free lunch» – déclarant qu'aucun algorithme de résolution de problèmes ne peut surpasser le hasard dans tous les problèmes possibles. Si l'intelligence est un algorithme de résolution de problèmes, alors elle ne peut être comprise que par rapport à un problème spécifique . D'une manière plus concrète, nous pouvons observer empiriquement ceci en ce que tous les systèmes intelligents que nous connaissons sont hautement spécialisés. L'intelligence des IA que nous construisons aujourd'hui est hyper spécialisée dans des tâches extrêmement étroites – comme jouer à Go, ou classer des images dans 10 000 catégories connues. L'intelligence d'une pieuvre est spécialisée dans le problème d'être une pieuvre. L'intelligence d'un humain est spécialisée dans le problème de l'être humain. "

Le théorème du no free free est un hareng rouge. Les inquiétudes de Superintelligence sont préoccupés par l'émergence d'une capacité qui est conçue pour faire aussi bien qu'elle a besoin pour traverser la gamme des défis possibles auxquels elle est confrontée. Confrontés à cette objection de Chollet, ils argumenteraient probablement que la superintelligence se dessinerait en charge de multiples unités spécialisées optimisées pour chaque problème individuel auquel elle est confrontée. Ou qu'il perfectionnerait des algorithmes simples pour travailler sur plusieurs problèmes.

La dernière phrase ne devrait pas être un réconfort; «L'intelligence d'un humain est spécialisée dans le problème de l'être humain.» Mais il y a des humains mauvais, contrariés par leur propre lenteur, leur oubli, leur manque d'accès aux ressources. La superintelligence maligne à l'étude est juste comme l'une d'entre elles, seulement sans ces contraintes.

Chollet fait ensuite valoir qu'une surintelligence ne serait pas possible parce que …. notre propre intelligence naît d'un lent processus d'apprentissage. Il écrit, par exemple:

"Les preuves empiriques sont relativement rares mais d'après ce que nous savons, les enfants qui grandissent en dehors de l'environnement nourricier de la culture humaine ne développent aucune intelligence humaine. Les enfants sauvages élevés dans la nature dès leur plus jeune âge deviennent effectivement des animaux et ne peuvent plus acquérir de comportements ou de langage humains lorsqu'ils retournent à la civilisation. »

Alors quoi, rétorque la Superintelligence. La première unité de renseignement général a Internet. Et les unités suivantes peuvent se mettre au travail en s'entraînant à une vitesse ultra-rapide. Suivant.

Chollet argumente par analogie à propos de la preuve que les êtres humains à très haut niveau de QI ne sont généralement pas très capables.

"Dans le point de repère de Terman" Études Génétiques de Génie ", il note que la plupart de ses sujets exceptionnellement doués poursuivraient des occupations " humbles comme ceux de policier, marin, dactylographe et archiviste ". Il y a actuellement environ sept millions de personnes avec des QI supérieurs à 150 – une meilleure capacité cognitive que 99,9% de l'humanité – et surtout, ce ne sont pas les gens que vous lisez dans les nouvelles. "

Puis il explique le contraire; que beaucoup des humains les plus capables n'ont eu qu'un QI modéré:

"Hitler était un décrocheur de lycée, qui a échoué à entrer dans l'Académie d'Art de Vienne – deux fois …. …… nombre des scientifiques les plus influents tendent à avoir des QI dans les années 120 ou 130 – Feynman en rapporte 126, James Watson, co-découvreur de l'ADN, 124 – qui est exactement le même que les légions de scientifiques médiocres. "

Je ne trouve pas réconfortant – en ce qui concerne la probabilité d'une supériorité de l'IA – que de grandes réalisations n'aient nécessité que des QI moyens. Il se peut que les facettes non-IQ des êtres humains à haut rendement ne soient pas reproductibles dans les machines, mais il suffit de dire que ces facettes existent pour savoir si cela est possible ou non. Peut-être que l'IA obtiendrait une de ses copies pour retracer les histoires de vie de génies ratés ou de dullards réussis pour maximiser ses propres chances de succès.

L'argument suivant est que nos capacités ne sont pas limitées par notre QI mais par l'environnement:

"Tout porte à croire que notre environnement actuel, tout comme les environnements passés des 200 000 dernières années de l'histoire humaine et de la préhistoire, ne permet pas aux individus de haute intelligence de développer et d'utiliser pleinement leur potentiel cognitif."

L'idée que l'environnement inhibe l'optimisation de l'intelligence sonne bien. Exemple: les algorithmes d'apprentissage automatique d'aujourd'hui peuvent être détériorés en les privant de données.

Mais: 1) les machines intermédiaires qui précèdent une superintelligence vont avoir un * lot * de données, y compris les données générées par leur propre existence, et, finalement, l'ensemble des connaissances, et les connaissances générées par l'IA; 2) nous pouvons voir comment les vies individuelles actuelles ont des cerveaux humains individuels limités, mais pas comment la somme totale de toutes les connaissances limite les IA successivement améliorées. Nous n'en savons pas assez pour sauter de ces limites dans le passé pour affirmer qu'une Superintelligence est une «impossibilité».

Chollet fait ensuite valoir:

"Nos cerveaux biologiques ne sont qu'une petite partie de toute notre intelligence. Les prothèses cognitives nous entourent, se connectent à notre cerveau et étendent ses capacités de résolution de problèmes. Votre smartphone Ton ordinateur portable. Recherche Google. Les outils cognitifs vous ont été donnés à l'école. Livres. Les autres gens. Notation mathématique Programmation. "

Ce n'est pas un argument contre une Superintelligence: les IA auront accès à toutes ces choses aussi. Ils seront en mesure de programmer. Ils auront le pouvoir de calcul. Ils pourront se connecter à Internet et effectuer des recherches sur Google. Ils auront accès à tous les livres écrits, aux sorties des personnes passées. Et ils auront accès à d'autres personnes et à d'autres produits en ligne.

Chollet essaye d'apaiser nos craintes au sujet d'une superintelligence avec ceci:

"C'est la civilisation dans son ensemble qui va créer une IA surhumaine, pas vous, ni moi, ni aucun individu. Un processus impliquant d'innombrables humains, sur des échelles de temps que nous pouvons à peine comprendre. Un processus impliquant beaucoup plus l'intelligence externalisée – les livres, les ordinateurs, les mathématiques, la science, l'Internet – que l'intelligence biologique . "

Cela est vrai de la première IA qui égale ou dépasse un humain individuel. Il aura été le résultat d'une énorme quantité d'antécédents humains et de connaissances, et sera sur les épaules de nombreux géants. Mais cela ne fait pas une bonne prédiction de ce qui se passera dans le futur. Une fois que l'IA se met au travail, à moins que quelque chose ne la restreigne, sa nouvelle pensée, ou la pensée de ses nombreuses copies et simulations constitueront une nouvelle civilisation artificielle, hautement voulue ou «prothèse cognitive».

"Les IA surhumaines du futur, développées collectivement au cours des siècles, auront-elles la capacité de développer l'IA plus grande qu'elles-mêmes? Non, pas plus que n'importe lequel d'entre nous. Répondre «oui» irait à l'encontre de tout ce que nous savons – encore une fois, souvenez-vous qu'aucun humain, ni aucune entité intelligente que nous connaissons, n'a jamais conçu quelque chose de plus intelligent que lui-même. Ce que nous faisons, petit à petit, collectivement, construisons des systèmes externes de résolution de problèmes qui sont plus grands que nous-mêmes. »

Ce n'est pas réconfortant pour deux raisons. Premièrement, les nouvelles IA juste-meilleures-que-nous-peuvent être reproduites, et travailler ensemble pour s'améliorer: ce serait une erreur de présumer qu'elles seront aussi limitées que les humains individuels passés. La phrase finale [“What we do is, gradually, collectively, build external problem-solving systems that are greater than ourselves.”] ne nous emmène pas plus loin que «cela ne s'est pas produit auparavant, donc cela n'arrivera pas dans le futur.» Le premier est vrai, mais le second ne suit pas de cela. Je pense que les inquiets de Superintelligence ne sont pas tous ceux qui «répondent oui». Ils exposent un risque hypothétique et nous exhortent à réfléchir avec prudence maintenant, alors que nous avons le temps et l'opportunité de mener une action collective pour rendre une superintelligence presque impossible.

La même extrapolation réconfortante du passé est à nouveau déployée par Chollet:

"La science est, bien sûr, un système récursivement auto-améliorant, parce que le progrès scientifique aboutit au développement d'outils qui habilitent la science … Pourtant, le progrès scientifique moderne est mesurable linéairement. …. Au cours de la période 1950-2000, nous n'avons pas fait de progrès en physique plus importants que nous ne l'avons fait entre 1900 et 1950 – nous l'avons fait aussi, sans doute. Les mathématiques ne progressent pas beaucoup plus rapidement aujourd'hui qu'en 1920. La science médicale a fait des progrès linéaires sur pratiquement tous ses paramètres, pendant des décennies. Et ceci malgré le fait que nous investissons des efforts exponentiels dans la science – le nombre de chercheurs double environ tous les 15 à 20 ans, et ces chercheurs utilisent des ordinateurs exponentiellement plus rapides pour améliorer leur productivité. "

Peut-être que cela caractériserait l'auto-amélioration récursive des ordinateurs en utilisant des copies d'eux-mêmes pour développer des versions améliorées d'eux-mêmes; mais peut-être que non! Que diriez-vous de consacrer encore du temps de réflexion à la façon dont nous planifions à l'avance pour le non.

Chollet cite actuellement deux sources de goulots d'étranglement dans la science dirigée par l'homme qui sont supposées endiguer l'auto-amélioration de l'IA à l'avenir:

"Le partage et la coopération entre les chercheurs deviennent exponentiellement plus difficiles à mesure qu'un champ grandit. Il devient de plus en plus difficile de suivre le rythme des nouvelles publications … Au fur et à mesure que les connaissances scientifiques se développent, le temps et les efforts consacrés à l'éducation et à la formation augmentent et le champ d'investigation des chercheurs devient de plus en plus étroit.

Pourtant, si nous sommes prêts à considérer que les goulets d'étranglement de la science humaine n'empêcheraient pas une IA d'être construite à un niveau équivalent ou supérieur à celui d'un humain, ces problèmes subséquents ne sont pas aussi pertinents. L'IA se copie et conçoit ses propres stratégies pour coopérer avec ses sous-unités.

Pour moi, Chollet ne parvient pas à étayer son affirmation selon laquelle une surintelligence est une «impossibilité». Quelle probabilité il a je n'ai aucune idée. Nick Bostrom semble être convaincu que c'est une certitude: une question de savoir quand, pas si. Peut-être la vérité se trouve entre ces deux auteurs. Ce serait bien s'il y avait des moyens relativement peu coûteux et fiables d'éliminer le risque, de sorte que même si la probabilité était faible, nous pourrions justifier de mettre des ressources de côté pour les faire. Mais en lisant Bostrom j'étais convaincu que ce n'était pas probable. Le scénario le plus convaincant pour l'émergence d'une Superintelligence auto-amélioration incontrôlée est par le biais d'acteurs étatiques en concurrence pour un avantage militaire, ou des entreprises non étatiques en concurrence dans le secret pour un avantage commercial écrasante. Les politiques visant à éliminer une superintelligence devraient être convenues en coopération, ce qui semble aller au-delà d'un monde multipolaire hostile.



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *