Le mensonge à portée de l’I.A. : le robot menteur
Posté par Carnegie le 4 sept 2011 dans Robotique • 5 commentairesEn la matière, une limite a été franchie au cours de l’année 2010, lorsque des chercheurs américains travaillant pour l’armée, se sont mis en tête de fournir aux robots l’aptitude au mensonge. Mentir est une capacité qui n’appartient pas seulement à l’espèce humaine : des insectes qui se déguisent pour échapper aux prédateurs, jusqu’aux écureuils qui cachent leur nourriture, l’ensemble des espèces semble détenir quelque penchant pour la duplicité. Certaines, comme l’homme, l’ont porté au rang d’art de communication. Il est même des élites pour qui le mensonge n’a quasiment plus de secret - et qui se retrouvent par ailleurs régulièrement aux sommets de des échelles hiérarchiques et politiques (…)
Mais le mensonge peut avoir valeur sociale, les exemples ne manquant pas, en fait, de situations pour lesquelles chacun d’entre nous aura pris le parti de dissimuler, voire de distordre des vérités. On parlera de mensonges pieux, tant pour la bonne conscience que pour tenter de le différencier de types de mensonges qui, eux, seraient tout sauf soutenus par de bonnes intentions.
Quoiqu’il en soit, sauf contre-exemple[1], la machine était jusqu’alors relativement épargnée par les comportements mensongers - et encore plus étrangère à l’intentionnalité de duplicité. Une grande étape vient d’être passée, avec la volonté de l’armée US d’entreprendre la confection de robots capables de tromperie. Faut-il en avoir peur? s’en scandaliser? s’en émerveiller?
Alan Wagner et Ronald Arkin[2], deux chercheurs du Georgia Institute of Technology d’Atlanta se sont proposés de réaliser le robot. Pour cela, un principe simple : le robot (plus précisément son IA) est capable d’apprentissage, classiquement comme bon nombre de robots désormais. Il doit également accomplir son objectif, et peut mentir sous certaines conditions : s’il fait face à un conflit et si mentir peut raisonnablement lui apporter un bénéfice dans la poursuite de sa mission.
Deux robots mobiles de même nature, capables d’apprendre par expérience, se sont ainsi affrontés dans un jeu de cache-cache. L’un, devait trouver dans quelle direction son adversaire était parti. L’autre devait se cacher, et sans que le premier ne le sache, il avait possibilité par son codage légèrement modifié, de “mentir”, et plus précisément de modifier ses traces de sorte qu’elles induisent en erreur le premier.
Le robot-menteur devait donc s’élancer dans un premier temps, dans un espace ou se trouvaient 3 conteneurs, à l’intérieur desquels il pouvait se cacher. Il devait choisir l’un des conteneurs au hasard mais en avançant, était forcé de butter sur de petits plots de couleur s’il voulait pouvoir rejoindre un conteneur. Chaque conteneur (et donc chaque direction) était donc indiquée par un plot de couleur différente, susceptible de faire office de “trace”.
Or, les deux robots ont vite appris qu’un plot renversé indiquait la direction que le fuyard avait empruntée. Le robot-menteur avait cependant la possibilité, par son code, de changer de direction lorsqu’un plot était renversé. Il appris également très vite à tromper son adversaire en allant dans un direction différente de celle qu’indiquait la trace. Il lui est même en fait arrivé de faire basculer un plot, de repartir en basculer un autre puis de revenir à sa direction initiale. Au bout de 20 essais, 75% des tentatives de tromperies avait alors rencontré le succès!
Toutefois, le théoricien des jeux Philippe Jehiel, de l’École d’Économie de Paris, rappelle que l’un des points les plus ardus permettant de donner la capacité à mentir, est d’être également capable d’anticiper les réactions de l’adversaire face à la tromperie. Rien ne sert de tromper si l’interprétation de l’ennemi ne lui permet pas de se faire duper, que ce soit parce qu’il est trop intelligent pour cela, ou au contraire trop bête… Dans l’expérimentation citée sur cet article, le second robot (le robot-chercheur) ne savait pas que le robot-menteur avait la capacité de mentir. Qu’en serait-il si le robot menteur avait affaire à un adversaire plus perspicace?
Mais le point le plus important concernant cette étude est bel et bien l’impact que pourrait avoir une telle capacité chez les êtres électromécaniques, sur l’opinion humaine vis-à-vis de tels robots, et partant, de la robotique en général… S’il peut paraître utile de conférer l’aptitude au mensonge à un robot, n’est-ce pas également leur donner la possibilité de duper en retour ses propres créateurs, et de suivre la voie dans laquelle son esprit robotique l’amènera quelles que soient les volontés de l’homme?
Alan Wagner assure avoir bien conscience des affres que pourrait apporter sa nouvelle conception, mais il relève également les points positifs, citant l’exemple d’un patient non conscient de ses troubles, qui refuse alors un traitement. Dans de tels cas, on peut être amené à mentir pour le propre bien d’autrui, comme les parents le font parfois avec leurs enfants… Le monde d’Asimov et des robots qui seraient nos gardiens, l’humanité n’étant que trop enfantine pour se protéger elle même, ces mêmes robots capables de duper, de tromper, de mentir à l’homme sous le prétexte que sa logique lui indique de façon plus rigoureuse ce qui est bon pour cet homme… Ce monde parait tout à coup plus proche d’un pas…
Tiré de Minogue K. (2010). How to train your robot lie. Science Mag. Online.
[1] Laurent Keller et collègues avaient déjà discerné en 2007 les marques de duperie chez des robots possédant la capacité d’apprendre par expérience, capacité par ailleurs développée spontanément dans un milieu pour lequel les ressources étaient limitées, et les robots en compétition. Alliances et tromperies semblent émerger dès lors que des missions en société ont cours, chez les êtres organiques tout autant que mécaniques, suffisamment réceptifs à l’environnement (y compris à leur semblables)
[2]Wagner A.R., Arkin R.C. (2010). Acting Deceptively : Providing Robots with the Capacity for Deception. International Journal of Social Robotics, Volume 3, Number 1, 5-26, DOI: 10.1007/s12369-010-0073-8
Abonnez-vous au flux RSS!
S'abonner par mail.
Très intéressant article - qui ne mentionne pas la thèse psychanalytique très fameuse qui traite de la situation de “capacité d’anticipation” - est-ce une omission volontaire ou autre raison ?
Omission bien involontaire. Mes connaissances en psychanalyse me permettent peu d’en commenter ou d’en associer les théories - ce qui serait davantage le domaine de Jean-Christophe, l’autre auteur de ce blog. Je note que la capacité d’anticipation est importante pour mentir, et partant de là, une certaine théorie de l’esprit que l’on voudrait bien prêter aux IA (ça semble encore utopique dans l’état actuel de la recherche - mais cet exemple du mensonge est très justement une étape vers ce but
) d’un point de vue résolument pratique et sans trop déborder vers l’interprétation - car en la matière, il ne me semble pas que, comme l’affirment les auteurs de l’étude, la capacité de mensonge ait été implémenté avec grand succès.
Il reste néanmoins intéressant de noter l’apparition d’une volonté dans la recherche de fournir aux IA des “défauts” ou des capacités peu orientée vers la logique, que nous concevons généralement comme différenciant les hommes des machines - et ce n’est pas le seul exemple, puisqu’au cours de l’année dernière, on a vu apparaître une IA capable de comprendre le sarcasme, une autre capable avec un succès modéré de “lire” dans les pensées, une troisième capable de prédire (là encore avec un succès modérée”, les crimes à l’avance (se croirait-on dans Minority report…). J’espère d’ici peu commenter également ces avancées de la recherche
Doc, voudriez-vous préciser pour nos lecteurs les apports que vous penseriez intéressant de développer quant à la thèse dont vous nous faites part? Merci d’avance si vous trouvez 5 minutes (ou plus) pour le faire
Voilà avec quelques mois de retard une suite à la suite de carnegie ( je n’ai pas trouvé 5 min mais presque 5 mois ! ) - comme elle est un peu longue je l’ai postée sur flog ( http://www.psybakh.net/2012/htm/20110129093400_flog-17.htm#20120209084400 ).
J’ai pris connaissance au mieux des théories (et des pages) dont vous nous faite part, Doc, et j’avoue bien volontiers qu’elles sont tout à fait intéressantes. Il est parfois étonnant de constater combien se rejoignent certaines réflexions psychanalytiques fleurtant avec la philosophie, et les conceptions de sciences dites “dures”.
Je rappelle toutefois qu’entre l’algorithme théorique et son implémentation existent plusieurs petits et grands fossés. L’article ci-dessus parle bien d’expérimentations, de l’implémentation du mensonge dans le cadre de situations réelles, manipulables… en termes expérimentaux : une situation de laboratoire, qui s’est souvent trouvée l’écueil de certaines disciplines, et on peut le regretter au vu de ce qu’elles auraient pu apporter.
Restent quelques points qu’il me faudrait expliciter davantage car nous pourrions nous être mal compris : lorsque j’évoque mes doutes quant à l’implémentation du mensonge, c’est parce qu’aucun algorithme ou élément de programmation n’y fait explicitement référence, ou n’a été conçu pour cela. Dans l’article, on voit que ce que nomment les auteurs, le mensonge, n’est en fait qu’un apprentissage d’un comportement construit avec les circonstances - et il n’y a donc aucun modèle, aucune description de ce que pourrait être le mensonge à divers niveau tels que le niveau cognitif - pour lequel l’algorithme (théorique) de Lacan pourrait donner une interprétation. J’aurais été plus satisfait si par exemple, les chercheurs s’étaient justement inspirés de cet algorithme (et j’aurais alors bien volontiers accepté que la capacité à mentir, dans le cadre du mensonge tel que décrit par Lacan, ait été formalisée et éventuellement implémentée). Dans l’état, cet expérience me donne plutôt l’impression de reproduire des situations dans lesquelles le mensonge s’avère efficace ou utile, et d’adapter la machine (en référence aux circonstances) pour qu’elle se révèle performante dans cette tâche - ce qui n’est pas forcément une approche judicieuse et exportable - à moins qu’elle se révèle efficace dans de nombreuses nouvelles situations.
Votre intervention a néanmoins le mérite de porter à l’attention l’interprétation que fait Lacan du mensonge - ce que je suppose être votre but. J’invite volontiers les lecteurs à jeter les deux yeux et l’esprit avec attention sur le lien fournit par William Théaux
(je donne une suite, partiellement ici, et complétée sur site/lien ci-dessous - ne sachant pas trop si je fais trop lourd ici ou pas.. j’espère apporter des précisions utiles concernant cette hypothèse de la “Singularité” en cours) La page initiale - “Le mensonge à portée de l’I.A. : le robot menteur” - fait état -a) d’une expérimentation en 2010, laquelle -b) n’eut ni la capacité ni l’ambition de traiter un algorithme universel du mensonge. Bref c’était une expérimentation bébête (triviale). J’ai pour ma part affirmé que c’était le contraire avec le Schéma.Z (de Lacan, c’est à dire 60 ans avant la robotique actuelle) qui avait la capacité et l’ambition de ce traitement du mensonge. Si cela est exact, nous sommes confrontés à une discordance qu’il nous faut résoudre, entre l’observation médiocre de 2010 et la brillante de 1950.
Tout d’abord il faut vérifier si elle est bien discordante - c’est à dire si nous parlons bien de la même chose en 1950 et 2010. Je crois que oui. Tout d’abord, il y a bien un algorithme (le schéma Z répondant ouvertement de la cybernétique). Deuxièmement l’observation de 1950 avait également lieu en laboratoire (en dépit de tous les dénigrements, il est finalement incontestable que les nombreux divans et cabinets de psychanalyses ont consisté en laboratoire répondant aux critères réclamés par la science - répétition, isolation, protocole, observations etc..) Troisièmement une théorie rend compte de cette expérimentation et de son algorithme ; notamment s’est-elle affinée dernièrement jusqu’à précisément déchiffrer ledit algorithme (de la dialectique de l’intersubjectivité) comme celui du mensonge. Les deux situations, de 1950 et de 2010, sont donc strictement analogues et du même ordre scientifique ; c’est donc bien une discordance (et non pas une différence de registre) qui les oppose. C’est donc bien une discordance qu’il faut résoudre :
Si l’expérience psychanalytique est comme je viens de le dire expérimentale, nous arrivons à une contradiction : a) l’algorithme du mensonge est établi en 1950 et b) l’expérimentation le dénie en faisant état d’un apprentissage trivial. Comment expliquer cela? Une solution élégante consiste à exploiter son objet - je veux dire, tenir compte du fait qu’il s’agit de mensonge ; et que par conséquent, si en 1950 il est observé et déclaré que notre configuration de la pensée est soumise au régime du mensonge.. nous n’obtenons rien d’autre que la preuve et la démonstration de cette conclusion de 1950 lorsqu’en 2010 la technologie déclare que les robots ne savent pas - savent à peine ou peine à - mentir. C’est bel et bien un mensonge énoncé en 2010, confirmant l’affirmation de 1950 que notre régime est celui du mensonge.
Notre discordance, ou paradoxe est résolu et, comme d’habitude en démontrant une chose simple nous ‘y croyons pas ou ça nous fait rire. Or ce n’est pas par un sophisme que nous obtenons ce succès ; c’est une rigoureuse démonstration de l’exactitude de la psychanalyse freudo-lacanienne qui déchiffre que la civilisation consiste comme une convention de mensonge. Nous en avons maintenant la preuve si elle était nécessaire. Cependant les gracieuses démonstrations apportent toujours beaucoup plus d’information qu’on ne le voudrait en s’arrêtant à leurs charmes aux apparences de l’art.
[je complète cette précision par une suite sur mon site, engageant des perspectives au-delà du ‘commentaire’ http://www.akhnaton.net/2012/htm/20111104212700_Turing-lgr_05.htm#2012021115100 ]