NEToo - métamoteur francophone pour tout trouver plus rapidement
  Web Actualités Blogs Voyages Images Vidéos Musique Annuaire  

Trouvez toutes les dernières nouvelles et dépêches publiées en interrogeant simultanément des multiples sources sur le web

Recherchez dernières actualités en temps réel 

   Top News |  Monde |  Europe |  Politique |  Economie |  Bourse |  Société |  Culture |  Sciences |  Sport |  People   
 Dernières actualités multimédia sur métachercheur francophone NEToo
Le Parisien - High-Tech    tous les flux RSS disponibles  xml  Cacher définitivement ce flux  
dernière mise à jour: 18/09/2018 21:34:13

  • Remplacer sa batterie d?iPhone va bientôt coûter plus cher

Les feux du BatteryGate, la polémique de 2017 sur des batteries volontairement ralenties, sont bel et bien éteints. Apple avait consenti un geste commercial depuis un an en baissant drastiquement le coût...

  • La 4G partout sur les lignes SNCF, c?est pour fin 2019

Etre un utilisateur régulier du RER C n?est pas de tout repos. Entre les incessantes coupures de circulation nocturnes pour travaux, les innombrables incidents quotidiens, auxquels s?ajoutent, ceux, plus...

  • Les «deepfakes», ces fausses vidéos très réalistes qui inquiètent

Donald Trump accusant publiquement Barack Obama de vol. L?ancien président des Etats-Unis traitant son successeur de « connard ». Emma Watson jouant dans des films pornos. Votre voisin dansant aussi bien...

  • Google mise sur Paris pour doper ses recherches en intelligence artificielle

La peinture est encore fraîche et les open spaces pas encore garnis mais les chercheurs sont sur le pont depuis un mois pour faire chauffer les algorithmes. Google a inauguré mardi matin à Paris (IXe)...

  • L?illectronisme, un risque méconnu

Payer ses impôts, consulter ses comptes, transmettre ses notes de frais, s?inscrire à une formation : autant de démarches qui se sont dématérialisées au fil des années. Internet est passé par là pour le...

  • Alerte aux faux sites administratifs

Demander un acte de naissance, s?inscrire sur les listes électorales, ou encore refaire sa carte grise après l?avoir perdue : désormais, il est possible d?effectuer ces démarches administratives sur les...

  • Créer son entreprise en ligne, c?est facile !

Grâce aux legaltech, ces entreprises qui ont développé les technologies et logiciels dans le domaine du droit, la plupart des démarches de création d?entreprise sont aujourd?hui dématérialisées et à moindre...

  • Nouvelle-Aquitaine : le musée 3D s?expose à domicile

156 ?uvres, 32 salles et quatre parcours à la carte, le tout accessible depuis chez soi ou un smartphone : Alienor.org vient d?inaugurer un musée virtuel 3D sur Internet. Cette association poitevine qui...

  • L?Oise fait le pari du wi-fi gratuit dans les lieux publics

Internet, partout et tout le temps ? C?est l?un des avenirs possibles, dans l?Oise, grâce au déploiement de la fibre optique. À Thérines, village de 200 habitants du nord de Beauvais, deux Cigales ? des...

  • Des bornes connectées qui racontent l?histoire du vignoble champenois

C'est bien connu, toutes les vignes se ressemblent pour un néophyte ! C'est en partant de ce constat qu'entre en scène la borne connectée créée par une jeune société ardennaise : Daven Design. Son fondateur,...

  • Smart Police : l'appli qui aide les policiers municipaux

Oubliez le policier municipal tapant à un doigt sur le clavier poussiéreux de son PC, la révolution numérique est en marche. A Maurepas (Yvelines), elle passe par l?application Smart Police, qui transforme...

  • SpaceX annonce un premier «client privé» pour un voyage autour de la Lune

Rendez-vous lundi pour connaître le nom et la nationalité du premier client privé qui embarquera pour un voyage autour de la Lune. La compagnie spatiale américaine SpaceX a annoncé le premier contrat pour...

  • Apple : comment les écrans d?iPhone sont devenus toujours plus grands

Toujours plus? grand ! De téléphone miniature à mini-tablette, la taille de l?écran du produit phare d?Apple a constamment augmenté pour correspondre aux besoins changeants du public.Le nouveau modèle...

  • Keynote d?Apple : notre iPhone préféré, c?est le moins cher

Il n?y aura pas d?iPhone 9. En présentant sa nouvelle gamme de smartphones ce mercredi soir à Cupertino, la marque Apple a brisé, comme cela était attendu, la logique des chiffres. Le fabricant californien...

  • IPhone Xs : le plus grand smartphone jamais lancé par Apple

Les fans de la marque les attendaient depuis plusieurs jours. Les nouveaux modèles de l?iPhone ont été dévoilés ce mercredi lors de la keynote d?Apple. Plus performants, plus grands et plus chers, les...

  • Nouveaux iPhone : ce qu?il faut retenir de la keynote d?Apple

La traditionnelle « keynote » de la firme à la pomme s?est déroulée ce mercredi dans le Steve Jobs Theatre de l?Apple Park de Cupertino (Californie). Plusieurs nouveaux modèles ont été présentés.Apple...

  • Nouvel iPhone : «Les prix toujours plus élevés n?effraient pas les fans d?Apple»

Mercredi soir sera dévoilé le très attendu nouvel iPhone, sur la scène du Steve Jobs Theater à Cupertino (Etats-Unis). Avec des tarifs dépassant les 1000 euros pour la version haut de gamme, le produit...

  • Nouveaux iPhone : pourquoi les fans craquent toujours autant

Comme à chaque mois de septembre, les aficionados attendent l?événement avec impatience. La présentation mercredi soir du tout nouvel iPhone, sur la scène du Steve Jobs Theater à Cupertino (Etats-Unis),...

  • Des applis qui changent la vie des TPE-PME

Gérer les factures, alimenter les réseaux sociaux, trouver des clients? Le quotidien d?une entreprise est rythmé de tâches, parfois fastidieuses, qui peuvent être déléguées. Une myriade d?applications...

  • Chemnitz : comment l?extrême droite se sert de YouTube pour mobiliser

En Allemagne, la tension ne retombe pas, après les drames de Chemnitz et Köthen, où des Allemands ont été victimes d?agressions perpétrées par des réfugiés. Mais alors que l?extrême droite mobilise ses...

  • Séniors : des objets connectés au secours de la vessie

Confrontés, comme les Français, à un problème de population vieillissante, les Japonais innovent beaucoup autour de la santé connectée pour les seniors. Placé sur le bas du ventre, le DFree, présenté au...

  • Mannequin Victoria?s Secret et développeuse, elle répond à ses détracteurs

Star des podiums, Lyndsey Scott a défilé et posé pour des marques comme Victoria?s Secret, Calvin Klein ou encore Prada. Mais en plus d?être mannequin, la jeune femme est aussi développeuse informatique....

  • Somme : une appli pour se faire livrer le pain à la maison

Qui ne rêverait pas de recevoir son pain tout chaud directement à la maison ? Une start-up d?Amiens (Somme) vient de lancer BonjourCopain, une application utilisable sur smartphone et sur tablette dont...

  • Téléphonie : Monaco sera le premier Etat entièrement couvert en 5G

Monaco devrait être le premier état au monde entièrement couvert en 5G, cinquième génération de réseau mobile, au débit dix fois supérieur à l?actuelle 4G.Un accord vient d?être signé à Pékin entre Monaco...

  • Serge Tisseron : « Introduisons le smartphone accompagné »

« Beaucoup de parents sont inquiets. Le temps passé par leurs enfants sur leur téléphone n?est-il pas excessif ? Ne serait-il pas mieux employé autrement ? Mais s?il en était de l?utilisation de nos technologies...

  • IPhone, iPad, Apple Watch : ce qu?on peut attendre de la prochaine keynote

C?est un rendez-vous de l?automne devenu incontournable pour les fans de la haute technologie. Mercredi prochain, une keynote du géant Apple devrait dévoiler au public de nombreux produits et précisera...

  • Des conseils pour une rentrée connectée et pratique

Le réveil sonne plus tôt, les transports en commun sont garnis comme la plage début août et les vacances ne sont plus qu?un souvenir numérisé sur votre smartphone.La rentrée des classes/estudiantine/professionnelle...

  • Uber va-t-il bientôt bannir ses clients mal notés ?

Pour cette rentrée, les Australiens et les Néo-zélandais vont devoir surveiller leur comportement. L?entreprise Uber, leader des services de VTC, a décidé de bannir les utilisateurs qui ont moins de 4...

  • Whisky, joint et vie dans l?espace? L?interview déjantée d?Elon Musk

Déjà confronté aux difficultés de son entreprise et critiqué pour ses frasques, le PDG de Tesla, Elon Musk, a de nouveau fait parler de lui avec une interview déjantée au cours de laquelle il est apparu...

  • La PlayStation 2, c?est vraiment fini

C?est une page de l?histoire du jeu vidéo qui se tourne. La PlayStation 2 (PS2) ne peut plus être officiellement réparée.Sony laissait jusqu?à ce vendredi aux personnes intéressées pour apporter leur console...


InternetActu.net    tous les flux RSS disponibles  xml  Cacher définitivement ce flux  
dernière mise à jour: 18/09/2018 21:34:15

  • La guerre mémétique aura bien lieu

Après des années de silence, R.U Sirius, alias Ken Goffman, a relancé sur le web sa revue séminale, Mondo 2000 (@2000_mondo), qui fit les beaux jours de la première cyberculture. Un post de ce blog collaboratif nous faire découvrir un document de 44 pages publié par l?Institut pour le Futur (...)

Après des années de silence, R.U Sirius, alias Ken Goffman, a relancé sur le web sa revue séminale, Mondo 2000 (@2000_mondo), qui fit les beaux jours de la première cyberculture. Un post de ce blog collaboratif nous faire découvrir un document de 44 pages publié par l?Institut pour le Futur (IFTF), biology of disinformation (.pdf), qui aborde le problème de la « guerre mémétique » et des fake news. R.U Sirius en a profité pour interviewer assez longuement les trois auteurs de ce papier.

L’un d’entre eux, Jake Dunagan, est chercheur à l’IFTF, les deux autres collaborateurs sont bien connus dans les milieux de la contre-cyberculture… David Pescovitz, lui aussi chercheur à l’IFTF, est un des auteurs de Boing Boing, l’un des plus célèbres (et des plus anciens, et des meilleurs) blogs culturels. Le troisième, c’est Douglas Rushkoff (Wikipedia, @rushkoff), lui aussi vieux routier de la cyberculture, qui commença à traiter le sujet dès les années 90, et dont le livre « Media Virus ! Hidden Agendas in Popular Culture » (1995), apparaît comme l’inspiration majeure de cette « biologie de la désinformation ».

Du mème au « Virus médiatique »


Rappelons un peu l’histoire des mèmes. Avant de devenir le phénomène médiatique qu’on connaît aujourd’hui, le mème était une hypothèse lancée par le biologiste Richard Dawkins, qui postulait dans son livre Le gène égoïste que la sélection naturelle par les gènes, centrale dans l’univers du vivant, avait cédé chez l’humain à la sélection des « mèmes », des « unités culturelles » capables, tout comme les gènes, de s’autorépliquer. Cela a donné pendant un moment naissance à une discipline scientifique, la mémétique, qui cherchait à comprendre l’évolution culturelle en termes darwiniens. Mais la mémétique n’a guère convaincu les chercheurs en sciences humaines, et elle disparut bientôt dans les limbes. Quant aux mèmes internet, ils allaient connaître la gloire qu’on leur connaît. Une histoire – ce passage de la théorie darwinienne à la « pop culture » – que nous vous avions déjà raconté…

Le titre même du papier de l’IFTF, « la biologie de la désinformation », montre cependant qu’il se situe directement dans la lignée des grandes théories de la mémétique… et ce, même s’il est toujours aussi difficile de définir un mème. En effet, quelle est la différence entre un mème et une idée, par exemple ? « Si on a affaire à une idée ou une image qui semblent demander, «copie moi» ou «transmets-moi», alors nous avons affaire à un mème », nous explique le papier de l’IFTF. Pas sûr que cela suffise à faire une distinction pérenne. En fait, malgré l’emploi du mot mème tout au long du document, c’est plutôt un autre concept qui domine la « biologie de la désinformation ». C’est celui de « virus médiatique » inventé par Douglas Rushkoff.

« Un virus médiatique est composé de deux parties : une nouvelle enveloppe médiatique (telle que l’exploitation d’un nouveau support ou la rupture d’un standard de médias) et un matériel mémétique provocateur à l’intérieur. Un virus biologique nous infecte parce que nos anticorps sont incapables de reconnaître son enveloppe protéique. Un virus média fonctionne de la même manière ; son « enveloppe » consiste en une utilisation inédite d’un média. »

« Un caméscope capture une brutalité policière. (…) Un album de rock est suspecté de contenir des messages sataniques cachés. Un microphone sans fil enregistre des remarques sexistes d’un candidat politique à propos d’une collègue féminine. Une femme diffuse en live des images de son mari mourant de blessures par balle. Un membre du Congrès transmet à un mineur des photos de ses organes génitaux issues de son smartphone. (?) Un président menace d’une attaque nucléaire par un message public de 140 caractères tapé avec ses pouces. »

Lorsqu’il a écrit Media Virus dans les années 90 (avant que l’internet ne devienne bien connu du grand public), Rushkoff avait surtout en tête les bateleurs de la contre-culture, qui, à l?instar des situationnistes, pervertissaient les médias de masse pour favoriser la réflexion. Mais Rushkoff avait déjà pu constater très vite la « récupération » de son concept par la machine capitaliste (le « marketing viral »). C’est une aventure qui est arrivée à d?autres, par exemple Joseph Matheny pour le transmedia. Pourtant, aujourd’hui, le recyclage des idées subversives de la contre-culture par les agences de publicité apparaît presque comme une nuisance bien inoffensive : ce ne sont plus tant les marchands qui se sont emparés de ces idées, mais les franges les plus extrêmes de l?activisme politique, l’alt-right, les suprémacistes blancs et bien sûr, le clown médiatique en chef, Donald Trump.

Parmi ces mèmes appartenant à la sphère de l?extrême droite, on notera par exemple la triple parenthèse (nommée « l?écho ») entourant les noms d’origine juive ou supposée telle, le signe classique « OK » fait avec la main, détourné pour symboliser le « white power », mais surtout, on n’oubliera pas « Pepe la grenouille« , un personnage de comics créé par Matt Furie, qui est devenu, en grande partie grâce aux activistes de 4chan, le symbole de cette nouvelle droite raciste. En 2015, lors de la campagne présidentielle, Trump lui-même se représentera dans un tweet sous la forme de Pepe la grenouille (à noter que tout cela s’est fait au corps défendant de son auteur, qui a d’ailleurs décidé de « tuer Pepe » pour mettre fin à cette dérive).

La société des mèmes


Mais qu’est-ce qui fait qu’un mème « fonctionne ? Les deux premiers paramètres qui viennent à l’esprit sont évidemment son contenu et la structure de ses hôtes, les cerveaux humains.

Bien sûr le contenu compte. Par exemple, les auteurs citent un travail effectué à l’université de Memphis (.pdf), montrant que les mots courts, concrets, ont plus d’efficacité que les termes longs ou abstraits, et que les mots grossiers augmentent la viralité (franchement, on s’en serait douté un peu).

On peut bien sûr se pencher aussi sur les aspects neurologiques. Comment et pourquoi le cerveau est-il infecté ? Le document mentionne ainsi une recherche que nous avons déjà présentée, sur la manière dont notre cerveau réagit à la présence d’un mème. Les limites de notre cerveau entrent aussi en ligne de compte. Selon des chercheurs de l?université d?Indiana et de Shanghai, également cités dans le rapport de le l’IFTF, notre cerveau réagit très mal à la surcharge d?informations. En cas de bombardement trop intensif, nous disent les auteurs, nous devenons encore plus incapables de différencier la vérité du mensonge.

Mais pour les auteurs de la biologie de la désinformation, le plus important reste un autre facteur : l’écosystème global. Les auteurs citent par exemple un travail effectué au centre de recherche sur les systèmes complexes à l?université de l?Indiana (.pdf), où les chercheurs ont été en mesure de prédire le succès d’un mème en fonction exclusivement des réseaux sociaux dans lesquels il était diffusé, indépendamment de son contenu. Du reste, continuent les auteurs, « les mèmes viraux n’étaient pas différents de ceux qui ne l’étaient pas. Leur succès est dû à la structure du réseau social. »

La thèse principale du papier de l’IFTF est que si on veut comprendre le fonctionnement des mèmes, il ne faut pas tant se pencher sur leur contenu, ou même leur forme, que sur l’écosystème dans lesquels ils se meuvent : notre société dans son ensemble. « En un sens, le pouvoir des virus, qu’ils soient biologiques ou médiatiques, nous révèlent moins sur eux-mêmes que sur leurs hôtes. Un virus ne nous rend pas malade, sauf si nous manquons d’un système immunitaire capable de reconnaître sa coquille puis neutraliser son code. Tant que nous n’y arrivons pas, le virus se réplique et notre système immunitaire devient fou, nous donnant de la fièvre, des frissons, de la congestion, ou des vomissements – qui se manifestent dans la culture par la confusion des médias, les guerres sur Twitter, les manifestations dans la rue, les nuits sans sommeil, et le terrorisme domestique ».

Quelles solutions ?


Les auteurs n’ont guère d’estime pour les solutions technologiques, comme le recours à l’IA ainsi que l’explique Rushkoff dans l’interview à Mondo 2000 : « Mark Zuckerberg veut lutter contre les fake news grâce à l’intelligence artificielle. Génial ! Il est déjà dépassé par un environnement médiatique qu?il ne comprend pas. Il ne sait pas pourquoi sa plate-forme a entraîné tant d?effets inattendus. Et donc, quelle est sa solution ? Recourir encore à une autre technologie, qu’il comprend encore moins, espérant résoudre le problème avec une autre boîte noire. »

Quels sont les autres moyens disponibles ? Si la technologie ne fonctionne pas peut-on par exemple compter sur l?éducation ? Ouvrir par exemple des discussions sur les sujets qui fâchent, comme le racisme, la culpabilité coloniale, etc. afin de crever des abcès souvent utilisés par les mèmes (et leurs concepteurs) pour favoriser la réplication. Mais cela pose un problème de base. Qui sera en mesure de promouvoir et organiser cette éducation ? Si elle provient d?une « autorité », qu’elle quelle soit, elle risque d’être encore plus contestée.

Pourquoi ne pas alors utiliser les armes de l?ennemi ? Opposer des « contre-mèmes » pour neutraliser ceux qui sont dangereux ? Certains s’y essaient : « la technique – actuellement pratiquée par une agence mémétique hongroise appelée Darwin – consiste à analyser le paysage des mèmes autour d’une idée particulière afin de comprendre les différents voisinages mémétiques, comment positionner ou repositionner le mème, et quels autres mèmes peuvent compléter ou dégrader sa viralité. »

Après tout, n’est-ce pas ce que faisaient les artistes et « ingénieurs culturels » de la contre-culture, les adeptes du Media Virus chanté par Rushkoff en 1995 ? Aujourd’hui, ce dernier semble avoir un peu changé son fusil d?épaule. Comme il l’explique à R.U Sirius :

« Même s’ils finissent par faire pénétrer de force des idées importantes au sein de la conversation culturelle, et même s’ils mènent finalement à de bonnes choses, ils nous infectent de l’extérieur. Ils attaquent les faiblesses de notre code et continuent à se reproduire jusqu’à ce que nous réparions ce dernier ou jusqu’à ce que nous en venions à reconnaître la «coque» du virus lui-même. »

Et le document d’enfoncer le clou :

« Le danger avec les virus est qu’ils sont construits pour contourner le néocortex – la partie de notre cerveau qui pense et qui ressent – et s’adresser plus directement au reptile plus primitif situé en dessous. Un mème sur le changement climatique, scientifiquement prouvé, par exemple, ne possédera pas la même intensité en termes de réponse culturelle que le mème sur « la conspiration des élites ».

La logique ou la vérité n’y sont pour rien. Les mèmes fonctionnent en provoquant des réactions de combat ou de fuite. Et ces sortes de réponses sont très individualistes. Les mèmes ne sont pas prosociaux : ils sont anti-sociaux. »


Image tirée du webcomic Wumo

De plus, les mèmes ont un comportement imprévisible et les retours de bâton sont fréquents. Il y a quelque temps, expliquent les auteurs, la Mairie de New York a essayé de lancer son propre « mème », #mynypd, grâce auquel les gens étaient encouragés sur twitter à poster des images d’eux mêmes en compagnie de membres de la police de la ville. Ce qui (qui en sera surpris ?) a abouti a des centaines d’illustrations de brutalités policières.

Si la technologie ne suffit pas, que l?éducation ne suffit pas, que la « guerre mémétique » ne peut que mener à la catastrophe, quelle serait donc la solution ? Agir sur l?écosystème nous disent les auteurs, rendre la société plus immune à l’attaque des mèmes en s’attaquant directement au milieu dans lequel ils prolifèrent : le numérique.

« Notre neurologie est construite pour établir un rapport avec d’autres humains, pratiquer l’altruisme réciproque et travailler vers des objectifs communs. (…) La rédaction de ce rapport, par exemple, a dépendu d’un contact oculaire, de la respiration synchronisée et de la reconnaissance de modifications subtiles du timbre vocal. »

Autant de « signaux non verbaux » qui disparaissent lorsque nous entrons dans une communication par le biais d?outils numériques. Du coup, le degré de confiance entre les interlocuteurs s?abaisse dangereusement, on entre dans une spirale de suspicion et d’agressivité. Un parfait terrain pour la prolifération des mèmes !

La bonne méthode comme l’expliquent les auteurs, ne fonctionnera qu’à très long terme. Elle consiste à renouer avec notre vie physique et organique. Se déconnecter. Renouer avec des rapports sociaux traditionnels, dans « la vraie vie ». « Les personnes ayant une certaine expérience de la politique locale, de l’entraide, et de la préservation de l’environnement se montrent plus résistantes aux constructions mémétiques du paysage idéologique synthétique », écrivent les auteurs.

Le caractère un peu trop lointain et abstrait de la solution proposée n’échappe pas à R.U Sirius qui s’interroge sur la faisabilité de cette « mutation culturelle ». « De nombreuses personnes – de Bucky Fuller aux marxistes en passant par les transhumanistes – ont espéré des solutions matérielles, explique-t-il. Rendons la vie suffisamment gratifiante et les gens cesseront d’être en guerre. C’est un raisonnement douteux, mais peut-être moins douteux que d’attendre que tout le monde soit cool, individuellement. »

C’est Dunagan qui lui répond, en guise de conclusion. Pour lui, une telle reconnexion au corps ne viendra probablement pas de l?intervention d’une entité nationale comme les USA, mais plutôt des villes elles-mêmes. « J’ai travaillé avec des maires des deux partis, les grandes villes et les petites… et la vision, la créativité et le côté pratique des maires, sont remarquables et inspirants. Le défi à venir, à mon avis, est de savoir comment élaborer une politique qui lie de manière cohérente et productive les villes et leurs dirigeants »

L’idée est intéressante, mais j’avoue continuer à me poser la même question que R.U Sirius. Et finalement, cette guerre mémétique n’est-elle pas la énième réincarnation d’un phénomène bien plus ancien et universel ? Après tout, les rumeurs, les slogans, la propagande existent depuis bien longtemps. Nul doute que le numérique lui a donné une nouvelle forme, mais des gens plus connectés « organiquement » seront-ils pour autant moins sensibles aux « fake news » ? Je crains que l’histoire nous apprenne le contraire.

Rémi Sussan

  • De la tyrannie des métriques

On n’a pas attendu le numérique pour produire des métriques, mais celui-ci a incontestablement simplifié et amplifié leur production. Quitte à produire un peu n’importe quelles mesures puisque celles-ci semblent désormais accessibles et ajustables en quelques clics. On connaît la rengaine : « ce qui ne peut être mesuré ne peut être (...)

On n’a pas attendu le numérique pour produire des métriques, mais celui-ci a incontestablement simplifié et amplifié leur production. Quitte à produire un peu n’importe quelles mesures puisque celles-ci semblent désormais accessibles et ajustables en quelques clics. On connaît la rengaine : « ce qui ne peut être mesuré ne peut être géré » (même si la formule de Peter Drucker est en fait plus pertinente que ce que nous en avons retenu). Est-ce pour autant qu’on ne gère que ce que l’on sait chiffrer ?

Non. C’est en tout cas ce que répond le stimulant petit livre du professeur d’histoire de l’université catholique d’Amérique, Jerry Z. Muller (@jerryzmuller), La tyrannie des métriques, qui se révèle être un très bon petit guide pour nous inviter à prendre un peu de recul sur notre obsession pour les chiffres.

Le propos de Jerry Muller relève pour beaucoup du simple bon sens.

« Il y a des choses qui peuvent être mesurées. Il y a des choses qui valent d’être mesurées. Mais ce que nous pouvons mesurer n’est pas toujours ce qui vaut d’être mesuré ; ce qui est mesuré peut n’avoir aucune relation avec ce que nous voulons vraiment savoir. Le coût de la mesure peut-être plus fort que ses bénéfices. Les choses que nous mesurons peuvent nous éloigner des choses dont nous voulons vraiment prendre soin. Et la mesure nous apporte souvent une connaissance altérée – une connaissance qui semble solide, mais demeure plutôt décevante. »

De l’excès de mesure… au paradoxe de la mesure

Relier la responsabilité aux mesures et à leur transparence s’avère souvent décevant. La responsabilité signifie être responsable de ses actions. Mais, par un glissement de sens, la responsabilité signifie souvent démontrer une réussite via des mesures standardisées, comme si seulement ce qui était mesurable comptait vraiment. Pour Muller, nous sommes obsédés par les chiffres. Nous avons une pression irrépressible à mesurer la performance, à en publier les chiffres, et à récompenser les performances depuis ceux-ci, quand bien même l’évidence nous montre que cela ne fonctionne pas si bien. Pour Muller, notre problème n’est pas tant la mesure que ses excès. Trop souvent nous préférons substituer des chiffres, des mesures, à un jugement personnel. Trop souvent le jugement est compris comme personnel, subjectif, orienté par celui qui le produit, alors que les chiffres, en retour, eux, sont supposés fournir une information sûre et objective. S’il y a beaucoup de situations où prendre des décisions basées sur une mesure est supérieur au jugement basé sur l’expérience? reste que les chiffres sont utiles quand l’expérience de quelqu’un est limitée pour développer son intuition. Certes, comme le montrait le livre Moneyball, l’analyse statistique est parfois capable de mesurer des caractéristiques négligées qui sont plus significatives que celles sur lesquelles s’appuie l’expérience et l’intuition. Mais ce n’est pas toujours le cas. Trop souvent, les métriques sont contre-productives, notamment quand elles peinent à mesurer ce qui ne l’est pas, à quantifier ce qui ne peut l’être.

Muller montre par de nombreux exemples comment nous nous ingénions à contourner les mesures, à l’image des hôpitaux britanniques qui avaient décidé de pénaliser les services dont les temps d’attente aux urgences étaient supérieurs à 4 heures. La plupart des hôpitaux avaient résolu le problème en faisant attendre les ambulances et leurs patients en dehors de l’hôpital ! Comme le rappelle la loi de Goodhart : « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure. » Plus qu’une obsession, nous sommes coincés dans un paradoxe de la mesure. Plus nous en produisons, plus elles sont précises, plus nous nous ingénions à les contourner à mesure qu’elles ne parviennent pas à remplir ce qu’elles étaient censées accomplir. Pour Muller, si les chiffres sont potentiellement des outils précieux, leurs vertus nous a été survendu, et leurs coûts toujours sous-estimés, comme l’explique le sociologue Jérôme Denis dans son livre Le travail invisible des données, qui souligne combien celles-ci sont toujours travaillées, « obtenues »… et donc que les standards qu’elles sont censées produire ont toujours un caractère « potentiellement conflictuel » !

La transparence des chiffres n’induit pas la responsabilité

Pour Muller, l’obsession des métriques repose sur : la croyance qu’il est possible et désirable de remplacer le jugement acquis par l’expérience personnelle et le talent, avec des indicateurs numériques de performance comparative basés sur des données standardisées ; la croyance que rendre ces mesures publiques (c’est-à-dire transparentes) assure que les institutions effectuent leurs buts (c’est-à-dire leur responsabilité) ; la croyance que la meilleure façon de motiver les gens dans les organisations est de les attacher à des récompenses ou des pénalités depuis ces mesures de performance (que les récompenses soient monétaires ou réputationnelles). L’obsession des métriques repose sur la persistance de ces croyances malgré les conséquences négatives qu’elles entraînent quand elles sont mises en pratique. Mais, si cela ne fonctionne pas, c’est d’abord et avant tout parce que tout ce qui est important n’est pas toujours mesurable et beaucoup de ce qui est mesurable n’est pas toujours important. À nouveau, toute mesure utilisée comme objectif, utilisée comme outil de contrôle devient douteuse. Par nature, toute mesure sera détournée ! Pire, rappelle Muller : forcer les gens à se conformer à des objectifs mesurés à tendance à étouffer l’innovation et la créativité, et renforce la poursuite d’objectifs à court terme sur ceux à long terme. La mesure a fait plus de progrès que le progrès lui-même, ironise Muller.

Le petit livre de Jerry Muller assène bien des évidences, certes. Mais des évidences qui font du bien, tant la démultiplication des chiffres dans le monde dans lequel nous vivons semble nous avoir fait perdre de vue toute raison.

Il souligne que trop souvent, on mesure le plus ce qui est le plus facile à mesurer, le plus simple. Mais c’est rarement le plus important. En mesurant le plus simple, on en oublie la complexité : ainsi quand on mesure les objectifs d’un employé, on oublie souvent que son travail est plus complexe que cela. On mesure plus facilement les sommes dépensées ou les ressources qu’on injecte dans un projet que les résultats des efforts accomplis. Les organisations mesurent plus ce qu’elles dépensent que ce qu’elles produisent. Bien souvent, la mesure, sous prétexte de standardisation, dégrade l’information, notamment pour rendre les choses comparables au détriment des ambiguïtés et de l’incertitude.

Quant aux manières de se jouer des métriques, elles sont là aussi nombreuses : simplifier les objectifs permet souvent de les atteindre au détriment des cas difficiles ; améliorer les chiffres se fait souvent en abaissant les standards? sans parler de la triche, on ne peut plus courante.

Les métriques au détriment du jugement, les chiffres au détriment de l’intangible

L’historien, bien sûr, tente de retracer rapidement l’origine de la mesure et tente d’expliquer pourquoi elle est devenue si populaire. C’est vraiment avec Frederick Taylor, cet ingénieur américain qui va inventer le management scientifique au début du 20e siècle, que la mesure va s’imposer. Le but même du taylorisme était de remplacer le savoir implicite des ouvriers avec des méthodes de production de masse, développées, planifiées, surveillées et contrôlées par les managers. Le Taylorisme va s’imposer en promouvant l’efficacité par la standardisation et la mesure, d’abord dans l’industrie avant de coloniser avec le siècle, tous les autres secteurs productifs. Le Taylorisme a été développé par les ingénieurs, mais aussi par les comptables. L’expertise nécessitait des méthodes quantitatives. Les décisions basées sur des chiffres étaient vues comme scientifiques, comme objectives et précises. La performance de toute organisation pouvait alors être optimisée en utilisant les mêmes outils et techniques de management. Ceux qui calculaient les coûts et les marges de profits s’alliaient avec ceux qui retiraient l’expérience des travailleurs pour les fondre dans des machines qui décomposaient les tâches pour mieux mesurer chacune et pour les rendre non spécialisée, permettant de remplacer n’importe quel travailleur par un autre. Le calcul s’est immiscé partout. Le biais matérialiste également : il était partout plus facile de mesurer les apports et rendements tangibles que les facteurs humains intangibles – comme la stratégie, la cohésion, la morale? La confiance et la dépendance dans les chiffres ont minimisé et réduit le besoin de connaître les institutions de l’intérieur. « Ce qui pouvait être mesuré a éclipsé ce qui était important ». Et la culture du management a exigé toujours plus de données? mais en parvenant à mesurer certains critères plutôt que d’autres, à favoriser donc certaines valeurs au détriment d’autres.

Muller explique encore que si les métriques sont devenues si populaires c’est parce qu’elles permettaient de se passer du jugement individuel. Elle permettait de remplacer ceux qui avaient la connaissance pour juger, par n’importe qui sachant lire les chiffres. L’objectivité des chiffres semblait supérieure au jugement subjectif et ce d’autant que les chiffres et les courbes étaient compréhensibles par tous. Les métriques se sont imposées dans les secteurs où la confiance était faible. Les décisions humaines sont devenues trop dangereuses à mesure qu’elles impliquaient une trop grande complexité de facteurs : d’où la prolifération des métriques, des process, des règles? La demande d’un flux constant de rapports, de données, de chiffres? a finalement diminué l’autonomie de ceux qui étaient les plus bas dans les organisations. La feuille de calcul est devenue l’outil phare du calcul, une façon de voir la réalité par les chiffres. La feuille de calcul qu’analysait Paul Dourish a créé une illusion d’analyse en profondeur. Alors que les données sont toujours plus faciles à collecter et à traiter, le chiffre et son traitement sont devenus la réponse à toute question posée par les organisations.

Dans les organisations, la mesure a remplacé la confiance. « Les nombres sont vus comme une garantie d’objectivité, un moyen de remplacer la connaissance intime et la confiance ». Les indicateurs de performance sont devenus des stratégies. Muller rappelle que la connaissance pratique est le produit de l’expérience? Si elle peut-être apprise par la pratique, elle ne se résume pas en formule générale. Alors que la connaissance abstraite, chiffrée, n’est qu’une question de technique, qui peut être systématisée, communiquée et appliquée.

Dans son livre, Muller évoque nombre de secteurs où les chiffres n’ont pas produit ce qu’on attendait d’eux. Dans le domaine scolaire, en médecine, dans le domaine militaire, dans la police et bien sûr dans les affaires? les chiffres sont souvent mal utilisés et ne parviennent pas à mesurer l’important. Bien souvent, les chiffres déplacent les objectifs, favorisent le court-termisme, découragent la prise de risque, l’innovation, la coopération? coûtent du temps (« Bien souvent, la métrique du succès est le nombre et la taille des rapports générés, comme si rien n’était accompli jusqu’à ce qu’il soit extensivement documenté »), voire sont dommageable pour la productivité elle-même (« Une question qui devrait être posée est de savoir dans quelle mesure la culture des métriques a elle-même contribué à la stagnation économique ? »)…

Interroger la légitimité des chiffres et assumer ses jugements !

Pour conclure son livre, Jerry Muller propose une checklist pour évaluer la légitimité de ce que vous cherchez à mesurer. Malgré ses critiques, nourries, il ne rejette pas tout chiffre, mais souligne qu’on devrait plus souvent penser à s’en passer.

Pour lui, il faut d’abord se poser la question de ce que l’on cherche à mesurer en se souvenant que plus un objet mesuré est influencé par la procédure de mesure, moins il est fiable. Et que ce constat empire quand la mesure repose sur l’activité humaine, plus capable de réagir au fait d’être mesurée, et pire encore quand des systèmes de récompenses ou de punition sont introduits?

L’information est-elle utile ? Le fait que quelque chose soit mesurable ne signifie pas qu’il faille le faire (au contraire, bien souvent la facilité à mesurer est inversement proportionnelle à sa signification !). « Posez-vous la question de ce que vous voulez vraiment savoir ! », conseille l’historien.

Est-ce que plus d’information est utile ? Si la mesure est utile, cela ne signifie pas pour autant que plus de mesure est plus utile.

D’autres indicateurs sont-ils disponibles ?

À qui profite la mesure ? Pour qui l’information sera-t-elle transparente ? – Et donc, pour qui ne le sera-t-elle pas ?

Quels sont les coûts pour acquérir ces métriques ?

Qui demande des chiffres et pourquoi ?

Comment et par qui ces mesures sont-elles faites (notamment pour souligner que bien souvent les métriques des uns ne devraient pas être celles des autres) ?

Comment corrompre vos chiffres ou faire diversion sur les objectifs ?

Souvenez-vous enfin que reconnaître ses limites est le début de la sagesse. Tout ne peut pas être amélioré par des chiffres. Et rendre un problème plus transparent par des chiffres peut rendre le problème plus saillant sans le rendre plus soluble.

Les métriques ne sont pas là pour remplacer le jugement, rappelle Muller, mais plutôt pour l’informer. Et pour cela, cela nécessite aussi de savoir quel poids donner aux mesures, savoir reconnaître ce qu’elles déforment, apprécier aussi ce qui n’est pas mesurable.

Oui, Jerry Muller semble égrainer des évidences. Mais c’est pour mieux souligner combien les chiffres participent à nous les faire perdre de vue. Souvenons-nous de ce que disait Dan Ariely : la précision, l’exactitude, l’immédiateté, la granularité ou la transparence ne sont pas toujours les meilleures façons de présenter les choses. La précision des chiffres ne rend pas les données plus utiles. Parfois produire des données moins fines, des indicateurs sans chiffres? sont des options qui peuvent aisément remplacer des données qui calculent mal ce qu’elles sont censées calculer? Trop souvent, les chiffres servent à faire passer des jugements dans les biais qui les masquent. La précision des chiffres, bien souvent, comme le rappelle le journaliste spécialiste des données Nicolas Kayser-Bril sur son blog, sert à nous faire croire en leur fiabilité, alors qu’ils sont comme tout savoirs, incertains !

À l’heure où le monde semble si facilement mesurable, souvenons-nous que ces mesures ne produisent pas toujours du sens, au contraire. Comme disait Pablo Jensen, le modèle du social que les chiffres induisent présupposent une forme de social qui n’a rien de la neutralité sous laquelle elle se présente.

Le monde numérique, qui produit des chiffres avec tant de facilité, peine bien souvent à prendre un peu de recul sur la validité des métriques qu’il démultiplie, oubliant de trouver le bon indicateur, qui n’est que rarement celui qui est produit. Sans compter que les indicateurs des uns ont tendance à devenir les indicateurs des autres, alors que trop souvent les métriques devraient être différentes et différenciées, afin que les indicateurs des uns ne soient pas nécessairement les indicateurs des autres.

La facilité à produire une tyrannie ne doit pas nous faire oublier ce que nous produisons. Si nous avons les moyens de la produire, il nous faut nous interroger sur comment y résister et comment réduire, atténuer voire contester cette production. Si nous sommes capables d’imposer une tyrannie, il faut nous interroger sur comment la défaire.

Hubert Guillaud

  • À mesure qu?elles croissent, les plateformes deviennent-elles plus hostiles ?

Adam Clair (@awaytobuildit) dans le toujours aussi excellent magazine Real Life (@_reallifemag) expliquait qu’à mesure que les médias sociaux grossissaient, ils avaient tendance à devenir plus hostiles envers leurs utilisateurs. La croissance est le but des plateformes de partage de contenus. Pour attirer le plus grand nombre possible d’utilisateurs, elles (...)

Adam Clair (@awaytobuildit) dans le toujours aussi excellent magazine Real Life (@_reallifemag) expliquait qu’à mesure que les médias sociaux grossissaient, ils avaient tendance à devenir plus hostiles envers leurs utilisateurs.

La croissance est le but des plateformes de partage de contenus. Pour attirer le plus grand nombre possible d’utilisateurs, elles pratiquent une modération a posteriori. Mais cela ne signifie pas que cette modération est contrainte. Comme l’explique le chercheur Tarleton Gillespie (@tarletong) dans son dernier livre, Custodians of the Internet : Platforms, Content Moderation, and the Hidden Decisions That Shape Social Media (Les gardiens de l’Internet : les plates-formes, la modération du contenu et les décisions cachées qui façonnent les médias sociaux, Yale University Press, juin 2018, non traduit), la modération est au coeur de l’offre des plateformes de médias sociaux. Les médias sociaux ont émergé par la promesse d’apprivoiser le chaos du web, via des modèles lisibles, des protocoles ordonnés et du contenu sélectionné. « La modération est, à bien des égards », affirme Gillespie, « la marchandise offerte par les plateformes ». Tout l’enjeu pour elles est donc d’équilibrer le contrôle de la qualité et la croissance qui permettra de s’assurer un monopole et une influence leur permettant de redéfinir les attentes des utilisateurs.

Mais si les plateformes souhaitent conserver le contrôle de la qualité, tirer parti des effets de réseau pour croître est une priorité plus importante encore, ce qui suggère que la valeur de la plateforme repose plus sur sa croissance que sur ses capacités de modération… Or, l’ampleur et les failles de la modération sont à hauteur de la taille des réseaux. Comme le soulignait dans une tribune pour le New York Times le spécialiste des médias Siva Vaidhyanathan (@sivavaid), auteur Antisocial Media : How Facebook Disconnects Us and Undermines Democracy (Médias antisociaux : comment Facebook nous déconnecte et mine la démocratie, Oxford University Press, mai 2018, non traduit), en évoquant l’audition récente de Sheryl Sandberg de Facebook par le Congrès américain, la modération est un tonneau des Danaïdes pour les médias sociaux. Sandberg estime que Facebook aurait supprimé 1,3 milliard de faux comptes d’utilisateurs entre octobre 2017 et mars 2018 ! Un chiffre bien plus élevé que ce à quoi nous avait habitué le rapport de transparence du géant des réseaux sociaux. Pour Siva Vaidhyanathan, si Facebook a déployé des efforts considérables pour lutter contre la désinformation, force est de constater que le nettoyage du web ressemble au nettoyage des écuries d’Augias ! Ni les chiffonniers du web de Manille ou d’ailleurs, ni les algorithmes de détection de contenus ne suffisent à endiguer l’horreur, comme le soulignait très bien l’excellent documentaire The Cleaners. Pour Vaidhyanathan, les failles de ce nettoyage causent trop de préjudices à trop de monde. Il va falloir accepter que Facebook soit « trop gros pour gouverner et trop gros pour être réparé ». Comme nous le disions déjà en interrogeant la question de la taille de nos outils, le problème des réseaux sociaux est de ne pas pouvoir demeurer à l’échelle de nos possibilités d’action.

Ces failles de modération expliquent les différences entre les règles que ces réseaux affichent et les règles qu’ils appliquent. La modération du contenu est comme la sécurité des aéroports : elle relève plus de la comédie sécuritaire que de la sécurité. Les erreurs de modération ne signifient pas que ce que voit un utilisateur est aléatoire pour autant, poursuit Adam Clair. Supprimer ou amplifier un type de contenu particulier – qu’il s’agisse de dissensions politiques, de discours de haine, d’images choquantes ou violentes… – est une question de volonté et non de capacité. Ce n’est pas non plus vraiment un problème technique : aucun code ou technologie sophistiquée n’est requis pour supprimer simplement le contenu. Cela nécessite simplement des ressources, généralement humaines.

Le problème, souligne Adam Clair, c’est que les imperfections de la modération peuvent être acceptables à petites échelles, sur un forum de niche par exemple, elles deviennent structurellement malsaines à grande échelle.

Or, les plateformes aiment à paraître neutres. Comme le note Gillespie, les plateformes aiment communiquer sur les incroyables quantités de contenu qu’elles mettent à disposition, mais restent relativement silencieuses sur ce qu’elles suppriment – notamment « pour préserver l’illusion d’être une plateforme ouverte et éviter la responsabilité juridique et culturelle ». L’opacité autour de la modération de contenu permet pourtant à chaque camp de se plaindre, de manipuler… ou de croire être manipulé. Les plateformes sont devenues un champ de bataille et plus elles deviennent grandes, plus les antagonismes pour les tribus disparates qui s’y développent sont élevés.

Gillespie note que les plateformes commencent par accueillir «des utilisateurs plus homogènes, qui partagent l’objectif de protéger et de nourrir la plate-forme, et qui peuvent résoudre certaines tensions par des moyens informels». Sur un petit forum, quelques centaines ou même quelques milliers d’utilisateurs peuvent se réunir pour discuter d’un sujet donné avec un certain degré d’homogénéité entre eux, comme tout groupe d’intérêt. L?harmonie y est favorisée non seulement par le sujet de niche, mais aussi par les normes communautaires et le fait qu’on puisse s?adresser directement à des modérateurs humains accessibles. Les moutons noirs peuvent être réprimandés pour qu’ils se conforment aux normes de la communauté? Mais, au fur et à mesure que les utilisateurs se multiplient et se diversifient, le bloc monolithique se fissure et des communautés avec des systèmes de valeurs très différentes se forment et exigent des méthodes pour résoudre les conflits.
« À un certain moment, une plateforme devient trop pluraliste pour être gouvernée de manière holistique. »

Les plateformes de médias sociaux présupposent souvent que leurs utilisateurs sont de bonne foi, minimisant les effets de réseaux qu’elles amplifient. Lorsqu’elles traitent d’abus, elles ont tendance à se concentrer sur les noeuds qui relaient ces informations plus que sur les interconnexions qui les propagent. Les modérateurs déterminent la validité des messages sans connaître l’identité du posteur ou le contexte. Dans leur tentative supposée neutre pour arbitrer les contenus, les plateformes assument donc une interprétation erronée. Or, les tensions sur les médias sociaux se forment à des niveaux globaux plus qu’individuels. Comme le soulignait la fondatrice de Recode, Kara Swisher (@karaswisher), cet été dans le New York Times, Facebook, Google et Twitter sont devenus les marchands d’armes numériques de l’âge moderne. Les plateformes sont devenues des champs de bataille, et plus les plateformes sont vastes et plus les enjeux pour les communautés qui se disputent en visibilité sont élevés? Or, rappelle Gillespie, la modération sur ces plateformes est devenue industrielle. Les personnes et les programmes qui modèrent ne sont plus issus des communautés. Ils examinent des milliers d’images et de contenus hors contexte. Pour protéger leur propre santé mentale, ils doivent apprendre d’ailleurs à compartimenter leur travail, les séparant davantage des communautés qu’ils surveillent et rendant impossible toute réflexion sur les normes de ces communautés.

Dans son livre, Gillespie estime que les plateformes devaient modérer plus agressivement et recommande d’améliorer la transparence de la modération, de mieux la distribuer aux utilisateurs, de rejeter les mesures de popularité et de diversifier les employés qui conçoivent les plateformes. Mais pour Adam Clair, il faut encore que les plateformes soient incitées à améliorer la modération. Sans chiffres montrant la valeur commerciale de l’amélioration de la modération, aucune plateforme n’investira dans des changements. Et ce d’autant qu’aucune communauté ne souhaite être modérée (sauf si elle peut utiliser cette modération contre les autres communautés).

Les plateformes préfèrent ne pas mettre en avant leurs interventions. Cela ne les empêche pas d’être très visibles pour les utilisateurs, où pas un jour ne passe sans qu’on évoque des censures de contenus, qui mettent en avant des technologies invisibles, mais omniprésentes. Siva Vaidhyanathan, dans son livre, estime que si les plateformes étaient moins aveuglées par leur orgueil et l’assurance de leur toute-puissance bienveillante, elles auraient pu construire des solutions pour rendre Facebook moins ingouvernable et moins facilement détournable. Pour lui, le fait de croire que l’interconnexion des utilisateurs est nécessairement bonne en soi est un présupposé qui pose problème en soi. Les cadres de ces entreprises qui se considèrent comme des dieux bienveillants estiment trop rapidement que les individus et les communautés sont à la recherche d’expériences nouvelles. Mais ce sont des arguments qui leur permettent de masquer leur rôle dans l’armement généralisé de la communication. Comme le soulignait la chercheuse Zeynep Tufekci dans Wired, en regrettant l’âge d’or de la liberté d’expression, nous avons peu de défense contre ces menaces nouvelles et puissantes à l’encontre des idéaux du discours démocratique.

Clair rappelle qu’une plateforme n’est rien sans ce que les utilisateurs y publient. Ils créent à la fois la valeur et en supportent la toxicité. Pour lui, la crise des médias sociaux découle à la fois d’un fantasme sur ce que les gens souhaitent et d’un fantasme sur le comportement des gens qui seraient naturellement intéressés, infiniment rationnels et indépendants de tout contexte. Pour Clair, il est temps pour les médias sociaux de reconnaître la nature des conflits et d’abandonner la neutralité qu’ils promeuvent. « Avec des milliards d?utilisateurs en jeu, les sociétés de médias sociaux sont peu disposées à apporter des changements majeurs à leurs fondements, mais si elles ne le font pas, elles risquent de voir leurs structures entières s?effondrer sous leur propre poids. »

  • De l?imbrication algorithmique

On se souvient de la mort d’Elaine Herzberg, première humaine tuée par une voiture autonome en mars 2018 (voir l’enquête qu’en dressait l’écrivain Thierry Crouzet). Pour le Guardian, le journaliste Andrew Smith (@wiresmith) revient sur les hésitations de l’algorithme de la voiture à reconnaître ce qu’il se passait. Pour la (...)

On se souvient de la mort d’Elaine Herzberg, première humaine tuée par une voiture autonome en mars 2018 (voir l’enquête qu’en dressait l’écrivain Thierry Crouzet). Pour le Guardian, le journaliste Andrew Smith (@wiresmith) revient sur les hésitations de l’algorithme de la voiture à reconnaître ce qu’il se passait.

Pour la programmeuse et essayiste Ellen Ullman, le problème est que la programmation est de plus en plus éloignée de la compréhension humaine du fait de l’intrication des programmes, algorithmes et données. Les gens pensent souvent que les algorithmes peuvent être modifiés, mais le plus souvent, ils s’exécutent et évoluent par eux-mêmes (cf. notre dossier, réinventer la programmation). Leurs concepteurs ne les contrôlent pas vraiment et ce d’autant plus qu’ils font appellent à des bases de données, à des bibliothèques de programmes distants, à d’autres algorithmes qui évoluent également.

À l’origine, rappelle Smith, les algorithmes étaient relativement simples, ils fonctionnaient selon des règles basiques du type : si A se produit, alors faites B, sinon, faites C. Les ordinateurs semblaient déjà magiques, parce qu’ils étaient rapides plus qu’intelligents. Mais désormais, les algorithmes désignent des systèmes logiciels de prise de décision complexes, avec un nombre de règles et de critères volumineux, souvent interreliés et interdépendants. Or, ils nous ont été toujours présentés comme des promesses d’objectivité, d’où le fait qu’ils se soient étendus à nombre de décisions de la vie courante : octroi de prêts, de prestations, de places? Pourtant, ces décisions ne sont pas sans biais, du fait de la manière même dont ces relations sont conçues par les ingénieurs.

Les machines ne sont pas sans biais non plus. L’apprentissage par renforcement par exemple, se fait sans aucun contexte. La machine apprend à faire ce qu’on lui demande de faire, comme obtenir le meilleur score possible à un jeu en y jouant des millions de fois. Mais ce qu’elle en apprend n’est pas transférable d’un jeu à un autre. Et elle ne sait expliquer comment elle y arrive. Le problème, c’est que quand l’algorithme apprend, nous ne savons plus quels sont les règles et les paramètres qu’il utilise puisqu’il les transforme. Ces algorithmes-là ne sont plus prévisibles et peuvent se mettre à produire des résultats erratiques. Pour Smith ce sont des « algorithmes Frankenstein », des machines qui créent leurs propres règles, comme ceux qui dominent désormais les marchés financiers via les transactions à haute fréquence. Pour Neil Johnson, physicien de la complexité à l’université George Washington, Facebook peut ainsi avoir des algorithmes simples pour reconnaître un visage dans une photo? Mais que se passe-t-il quand des milliers d’algorithmes travaillent ensemble sur des milliards de profils ? « Vous ne pouvez pas prédire le comportement global appris à partir de règles microscopiques ».

Neil Johnson, qui a publié récemment un article (.pdf) sur l’émergence de populations radicales par la polarisation des opinions, explique que c’est la concurrence des opinions qui accroit la polarisation en ligne. Pour lui, les entreprises qui développent des algorithmes devraient aussi apprendre à modéliser leurs effets à grande échelle, comme les climatologues modélisent le changement climatique. Pour la mathématicienne Cathy O’Neil (@mathbabedotorg), dans l’environnement algorithmique complexe actuel, il est difficile de définir les responsabilités des différents segments de codes imbriqués les uns aux autres. Les Flash Crash, ces krachs financiers éclair, n’ont pas lieu que sur les marchés financiers. La tarification algorithmique d’Amazon s’emballe aussi parfois en faisant grimper le prix de livres à des hauteurs folles. Or, comprendre où se situe la responsabilité de ces emballements n’est pas si simple. « Comme dans la finance, le déni est intégré au système ».

Lorsqu’un chauffeur d’une Toyota Camry a été tué après avoir accéléré brutalement sans raison évidente, des experts ont passé plusieurs mois à examiner les millions de lignes de code du système d’exploitation de la voiture sans trouver de preuves concluantes que la voiture ait accélérées de son propre chef. D’autres experts ont fini par trouver que le chevauchement de codes imbriqués pouvait produire des résultats anormaux et imprévisibles. Éviter les conflits de code sur des millions de lignes de code alimentés par des flux d’information constants est extrêmement difficile. Pour l’historien des sciences George Dyson, le problème est que nous construisons des systèmes qui vont au-delà de nos moyens intellectuels pour les contrôler. Or, nous pensons que si un système est déterministe (c’est-à-dire qu’il agit selon des règles fixes), alors il est prévisible et que s’il est prévisible alors il peut être contrôlé. Mais ces deux hypothèses sont fausses, estime Dyson. « La loi d’Ashby dit qu’un système de contrôle doit être aussi complexe que le système qu’il contrôle ». Mais cela se révèle difficile. Nous ne savons pas tester cette complexité de manière exhaustive. Pour le professeur d’Intelligence artificielle Toby Walsh (@tobywalsh), « personne ne sait écrire un code pour reconnaître un stop ». En fait, pour y parvenir, les programmeurs décomposent le problème en parties suffisamment simples pour correspondre à des instructions, notamment en les nourrissant d’exemples. Le véhicule autonome qui a tué Herzberg a hésité à classer correctement ce qu’il voyait sur la route. « Est-ce dû à une mauvaise programmation, à une formation algorithmique insuffisante ou à un refus démesuré d’apprécier les limites de notre technologie ? Le vrai problème est que nous ne pourrons jamais le savoir », conclut Andrew Smith.

Pour la sociologue Lucy Suchman de l’université de Lancaster, ces problèmes sont partout. Une étude sur les attaques par drones au Pakistan entre 2003 et 2013 a ainsi montré que 2 % des personnes tuées par drones étaient des cibles présentant une menace. 20 % étaient considérés comme des non-combattants? Et 75 % étaient des cibles? « non identifiés ». Pour elle, nous sommes face à une technologie d’identification très grossière. Dans ce contexte, la perspective du développement d’armes autonomes laisse plus que perplexe. Pour Lilly Irani (@gleemie) de l’université de Californie, les choix des concepteurs d’algorithmes nous sont trop souvent présentés comme objectifs quand ils cachent des enjeux politiques.

Les méthodes de programmation ne sont plus adaptées à la taille, à la complexité, à l’interdépendance et à l’impact des programmes sur la société. Pour relever ce défi, il faudrait pouvoir mieux évaluer les interactions algorithmiques.

Pour Johnson, les ingénieurs sont formés pour écrire des programmes d’optimisation. Il serait temps de nous demander qu’elle est la pire chose qui puisse se produire avec ces optimisations une fois qu’elles interagissent avec d’autres optimisations. Mais nous n’avons ni mot pour comprendre cela, ni science pour l’étudier. «Le fait est que l’optimisation consiste à maximiser ou à minimiser quelque chose – ce qui, en termes informatiques, est identique. Alors, qu?elle est le contraire d?une optimisation – c?est-à-dire le cas le moins optimal -, et comment l?identifier et le mesurer ? La question que nous devons nous poser, que nous n?avons jamais posée, est la suivante : «Quel est le comportement le plus extrême possible dans un système que je pensais optimiser» ? » Pour cela, explique-t-il, nous avons besoin d’une autre science. Décidément !

MAJ : Sur son blog, Olivier Ertzscheid revient également sur cet article du Guardian pour proposer une taxonomie algorithmique… qui distingue les algorithmes opaques et imprévisibles des algorithmes transparents et prévisibles.

  • Vers une science de la causalité

Depuis l?invention des statistiques, la science ne cherche plus à se prononcer sur la notion de causalité. Corrélation n?étant pas causalité, les statisticiens se refusent à porter un jugement sur quel phénomène « cause » tel autre. La causalité n’est que la forme extrême de la corrélation, autrement dit, ce qui se (...)

Depuis l?invention des statistiques, la science ne cherche plus à se prononcer sur la notion de causalité. Corrélation n?étant pas causalité, les statisticiens se refusent à porter un jugement sur quel phénomène « cause » tel autre. La causalité n’est que la forme extrême de la corrélation, autrement dit, ce qui se passe quand une corrélation atteint 100 % de succès.

Pourtant, nous explique Judea Pearl (Wikipédia, @yudapearl), dans son livre The Book of Why (Basic Books, 2018 non traduit), écrit en collaboration avec Dana Mackenzie, il nous faut une science de la causalité ! Celle-ci existe déjà, elle s’est développée tout au long du XXe siècle, mais très discrètement. Selon Pearl, elle est un élément indispensable à notre compréhension du monde. Notamment, dans le domaine de l’intelligence artificielle, ce n’est que lorsqu’une parfaite compréhension de la notion de causalité sera atteinte que nous pourrons créer des machines véritablement intelligentes.

Judea Pearl n’est pas un perdreau en matière de recherche : aujourd’hui âgé de 81 ans, c’est son premier ouvrage de vulgarisation. Il est plus coutumier de travaux obscurs consacrés aux hautes sphères de l’IA et des mathématiques, et il a obtenu en 1991 le prix Turing pour ses recherches sur les « réseaux bayésiens« , couramment utilisés aujourd?hui en IA.

Deux langages pour une nouvelle science


Comme toutes les disciplines scientifiques, cette nouvelle science de la causalité dispose d’un langage, ou plutôt de deux. Le premier est exclusivement graphique. Il s’agit de diagrammes fléchés qui indiquent l?enchaînement causal supposé. L’autre langage est plus formel, plus proche des maths. Dans son livre, Pearl favorise largement l’usage des diagrammes, plus simples à comprendre, mais donne quelques exemples « d’équations causales ». Celles-ci se caractérisent par l?intervention d’un nouvel opérateur, le « do » (pour « faire » en anglais). Cet opérateur permet de distinguer dans un calcul les modifications observées de celles qui sont le produit d’une intervention volontaire. Autrement dit, observer ce qu’il se passe lorsque les gens mangent des brocolis ne sera pas formulé de la même manière qu’une expérience où un groupe a mangé des brocolis pendant six mois, tandis que le groupe contrôle n’en mangeait jamais.

L?introduction ce petit opérateur change profondément les choses. En fait, une fois qu’on a pris en compte la possibilité d’une intervention, il est possible de calculer ses conséquences sans pour autant la réaliser effectivement : « L’une des réalisations majeures de la Révolution causale a été d’expliquer comment prédire les effets d’une intervention sans la mettre en pratique. Cela n’aurait jamais été possible si, avant tout, nous n’avions pas défini l’opérateur de manière à pouvoir poser la bonne question et, deuxièmement, imaginé un moyen de l’imiter par des moyens non invasifs. »

Pour Pearl, l’usage d?un langage formel est nécessaire à la compréhension d’un phénomène. Rappelons qu’il est lui-même chercheur en IA. « Tout d’abord, dans le monde de l’IA, explique-t-il, vous ne comprenez pas vraiment un sujet avant de pouvoir l’enseigner à un robot. C’est pourquoi vous me verrez mettre l’accent sur la notation, le langage, le vocabulaire et la grammaire (…). C’est incroyable tout ce qu’on peut apprendre en suivant simplement la grammaire des énoncés scientifiques. Mon insistance sur le langage vient aussi de la conviction profonde que la langue façonne nos pensées. Vous ne pouvez pas répondre à une question que vous ne pouvez pas poser et vous ne pouvez pas poser une question pour laquelle vous n’avez pas de mots.  »

Voici un exemple très simple donné par Pearl d’un tel diagramme causal. Il concerne le fonctionnement d’un peloton d’exécution. Il y a d’abord une décision du tribunal, qui transmet l’ordre au capitaine du peloton, constitué de deux tireurs. Que se passe-t-il si on intervient et que le tireur B décide ne pas tirer ? On supprime la flèche allant de B à l?exécution. Mais cela ne change rien puisque A tire de toute façon. Que se passe-t-il si finalement la cour martiale ne donne pas l’ordre d?exécution ? On efface alors la première flèche. Ce second diagramme est-il possible ? Pour un ordinateur classique, explique Pearl, la question ne se pose pas. La règle est que les soldats ne tirent que si la cour en a donné l’ordre. Mais avec la causalité, explique Pearl, « nous devons apprendre aux ordinateurs à briser les règles ». Un des deux soldats peut décider de tirer même contre l’avis de la cour.

On le voit, c’est bête comme chou. Mais vous n’imaginez pas à quel point ces diagrammes deviennent vite complexes tout au long du livre. Si l’ouvrage de Pearl est destiné au grand public, il ne faut pas s’imaginer pour autant qu’il soit simple d’accès. J’avoue qu’il m’a souvent perdu.
Une chose différencie cette approche causale de l’approche statistique classique. Elle implique, de la part du chercheur, une mise en ?uvre de sa connaissance du monde. Pour lui : « (…) dessiner un diagramme de causalité n?est pas un exercice statistique ; c’est un exercice de génétique, d’économie, de psychologie ou de tout autre domaine d’expertise du scientifique. »

Les trois niveaux de compréhension du monde


Que signifie l’avènement de cette nouvelle science de la causalité pour l’IA, qui rappelons-le, est la spécialité de Judea Pearl ?

Ce dernier divise les progrès dans la compréhension du monde en trois étapes.

Le premier stade est l’observation. Le sujet observe son environnement, remarque des régularités et en déduit un certain nombre de conclusions. En d’autres termes, il effectue des corrélations. C’est le stade atteint par les animaux, et selon Pearl, par les actuels systèmes de Deep Learning, qui sont donc loin, selon lui, d?égaler l’intelligence humaine.

Le second stade est celui de l’intelligence humaine, c’est celui de l’intervention (le fameux opérateur « do »). Le sujet effectue une action pour voir ce qui se passe. Il compare les résultats de son acte à la situation antérieure, lorsqu’il n’était pas intervenu. C’est le niveau où on se pose la question « comment? ? »

Le troisième stade, atteint par des humains matures, est celui des « conditions contre-factuelles », autrement dit, on élabore des scénarios imaginaires en se demandant « et si? ? ». Toute interrogation sur les causes d’un phénomène se déroule à ce niveau. Autrement dit, se demander « pourquoi » est en en fait une question contre-factuelle déguisée. Si on revient à l’exemple du diagramme plus haut, on se demande par exemple : « que se passerait-il si la cour ne donnait pas l’ordre d?exécution ? »

Pearl résume ainsi sa théorie : « le niveau 1 traite du monde tel qu’il est perçu, le 2 d’un monde meilleur, mais néanmoins perceptible, tandis que le niveau 3 traite d’un monde qui ne peut être perçu (parce qu’il contredit ce qui est perçu) ».

Les limites des data


A quel stade se trouvent actuellement les machines intelligentes ? Pour Pearl elles restent coincées au niveau 1, comme d?ailleurs les statistiques traditionnelles : elles ne peuvent répondre à la question « pourquoi ». « Les données peuvent vous dire que les gens qui ont pris un médicament se sont rétablis plus rapidement que ceux qui ne l’ont pas pris, mais elles ne peuvent pas vous dire pourquoi. Peut-être que ceux qui ont pris le médicament l’ont fait parce qu’ils pouvaient se le permettre et se seraient rétablis aussi rapidement sans lui. »

En opposition avec sa nouvelle science de la causalité, les data sont incapables d’établir une flèche du temps cohérente. Si A est corrélé à B, B est également corrélé à A. La causalité, elle, ne va que dans un sens.

Dans un monde gouverné uniquement par les data, « par exemple, les patients éviteraient d’aller chez le médecin pour réduire la probabilité d’être gravement malade ; les villes licencieraient leurs pompiers pour réduire l’incidence des incendies ; les médecins recommanderaient un médicament aux hommes et aux femmes, mais pas aux patients dont le sexe n’a pas été divulgué ; etc. »

Pearl ne minimise pas les progrès actuels en intelligence artificielle, notamment les technologies du Deep Learning, mais perçoit également leurs limites. « Les réussites du Deep Learning ont été vraiment remarquables et ont surpris nombre d’entre nous. Néanmoins, le Deep Learning a principalement réussi en montrant que certaines questions ou tâches que nous pensions difficiles ne le sont pas en réalité. »

Pour tester les futures machines intelligentes, Pearl envisage un mini-test de Turing. Au lieu d’avoir à tromper ses interlocuteurs en se faisant passer pour un humain comme c’est le cas actuellement du test de Turing, ce mini-test serait (en apparence) plus facile : « L’idée est de prendre une histoire simple, de la coder sur une machine, puis de tester si la machine peut répondre correctement aux questions causales auxquelles un être humain peut répondre. »

L’accès au niveau 3 de la compréhension du monde aurait aussi une autre conséquence. Il permettrait enfin de créer des robots « moraux ». Pour Pearl, un système de règles comme celui des trois lois d’Asimov est une impasse. Il faut permettre au robot de réfléchir à ses propres actions, de se demander « pourquoi » ?

Pourquoi ce lien entre la réflexion sur « des mondes qui n’existent pas » et la conscience morale ? Parce que cela permet de se demander « comment on aurait pu faire autrement ». C’est cette interrogation qui nous permet de réfléchir aux conséquences de nos actes. Si nous arrivons à créer une telle IA, insiste Pearl (et il affirme que certains de ses étudiants mettent actuellement au point des algorithmes allant dans ce sens), alors il n’y aura aucune raison d’avoir peur de l’intelligence des machines.

Rémi Sussan

  • Technologie : l?âge sombre

L?artiste et essayiste James Bridle (@jamesbridle) s?intéresse depuis longtemps aux dysfonctionnements de notre monde moderne. Il observe ce qui ne fonctionne pas : les bugs, les glitchs, les ratés de notre développement technologique? Longtemps, il a regardé les espaces de friction entre technologie et société comme le lieu d?expression et de (...)

L?artiste et essayiste James Bridle (@jamesbridle) s?intéresse depuis longtemps aux dysfonctionnements de notre monde moderne. Il observe ce qui ne fonctionne pas : les bugs, les glitchs, les ratés de notre développement technologique? Longtemps, il a regardé les espaces de friction entre technologie et société comme le lieu d?expression et de production de nouvelles formes culturelles. C?était ce qu?il appelait « la nouvelle esthétique », celle produite au croisement de la technologie et de la réalité, ces « irruptions visuelles du monde numérique dans le monde physique ». Il en a joué plus que tout autre, en produisant des dispositifs pour interroger la manière même dont nous produisons notre monde moderne. L?un des exemples les plus célèbres – parmi d’autres – étant certainement le piège à voiture autonome qu?il imagina, comme une mise en abîme des limites de la soi-disant intelligence artificielle qu?on pouvait prendre au piège comme un enfant? On avait évoqué rapidement, au printemps, la sortie de son dernier livre Le nouvel âge sombre : la technologie et la fin du futur (Verso Books, 2018, en anglais)? Il est temps d?y revenir.

Les bugs ne sont pas amenés à être corrigés !

Ce New Dark Age porte un titre prophétique et apocalyptique. Un peu trop peut-être. C?est effectivement un livre très critique sur notre rapport à la technologie, très éloigné du rapport souvent curieux et amusé que Bridle portait aux technologies avec la nouvelle esthétique. En une dizaine de chapitres, Bridle explore les glitchs qui sont désormais devenus des schismes, des scissions, des ruptures? comme s?ils n?étaient plus aussi distrayants. Dans son livre, il montre combien les bugs se cristallisent en caractéristiques. Combien la complexité technique que nous avons construite s?entremêle pour produire des effets en réseau, complexes, profonds, intriqués que nous ne parvenons plus vraiment à démêler. Son constat principal consiste à dire que ces dysfonctionnements ne sont pas amenés à être corrigés. Ils sont au contraire intrinsèques à la nature même des technologies qui se déploient aujourd’hui. Contrairement à ce que nous annonçaient les pionniers et les prophètes des technologies, pour Bridle, la technologie n?annonce pas de nouvelles Lumières ou une Renaissance, mais, comme Jules Michelet parlait du Moyen Âge, un âge sombre, une ère d?obscurité pour ne pas dire d?obscurantisme. Ni les réseaux sociaux, ni l?intelligence artificielle, ni les systèmes techniques ne vont nous aider à faire monde commun. Au contraire.

Le constat de Bridle est définitif. « L?accélération technologique a transformé notre planète, nos sociétés et nous-mêmes, mais elle n?a pas réussi à transformer notre compréhension de la technologie ». Nous n?arrivons plus à penser en dehors ou sans technologie. Pire, la technologie s?est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d?un système économique hors de contrôle qui ne cesse d?élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n?est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.

Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d?éducation ou son corollaire, par la formation d?un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c?est-à-dire la pensée des ingénieurs et des informaticiens qui n?est rien d?autre que le métalangage du solutionnisme technologique : « la croyance que tout problème donné peut-être résolu par l?application de solutions de calcul ». Or la pensée des ingénieurs, la pensée informatique, intègre plus que toute autre le solutionnisme : elle ne parvient pas à voir le monde autrement qu?en terme computationnel. Dans ce mode de pensée, le monde est un système qu?il faut décoder? Et c?est là notre erreur de perspective principale, estime James Bridle.

L?écueil de la pensée computationnelle

Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n?est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu?ils propagent. « Trop souvent, les nouvelles technologies sont présentées comme étant naturellement émancipatrices. », Mais c?est là typiquement un exemple de pensée computationnelle estime Bridle. Les primo-utilisateurs qui en ont vanté les mérites, si naïvement, ont bénéficié des opportunités de la technique, sans saisir ce que leur déploiement à large échelle pouvait transformer ni voir que le fait qu?ils en bénéficient ne signifiait pas qu?elle allait bénéficier à tous. Dans notre monde en réseau, l?individualisme l?a emporté sur la solidarité.

Le cloud (l?informatique en nuage) n?est plus une métaphore du réseau, c?est l?incarnation de ce système global et surpuissant qu?aucun d?entre nous ne peut désormais attraper. Ce nuage est pourtant une bien mauvaise métaphore. Rien de ce qu?il recèle n?y est sans poids, rien n?y est amorphe ou invisible. Le cloud cache une infrastructure physique complexe faite de lignes téléphoniques, de fibre optique, de satellite, de vastes entrepôts d?ordinateurs, qui consomment d?énormes quantités d?énergie et qui influent sur de multiples juridictions. Le cloud est l?incarnation d?une nouvelle industrie.

L?absence de compréhension dans laquelle nous sommes maintenus est délibérée, estime Bridle. De la sécurité nationale aux secrets industriels, il y a beaucoup de raisons à obscurcir ce que recouvre ce nuage. Mais ce qui s?en évapore est assurément notre propriété (dans les nuages, tout appartient à d?autres) et notre agentivité, c?est-à-dire notre capacité à faire. Le nuage est une métaphore qui obscurcit la réalité opérationnelle de la technologie : un moyen de cacher ce qu?elle accomplit, sa propre agentivité, via des codes opaques et insondables, via une distance physique réelle entre l?utilisateur et les matériels qu?il active et une construction juridique qui fonctionne selon le principe d?extraterritorialité. La technologie est une opération de puissance qui utilise ses outils pour se cacher de nous.

Le réseau est-il l?accomplissement du progrès ?

Ce réseau technologique de systèmes entremêlés qui s?est construit petit à petit est caractérisé par son absence d?intention apparente, claire ou unique. Personne n?a décidé de créer le réseau tel qu’il s’est développé? Il s?est bâti peu à peu, dans le temps, système contre système, culture contre culture, comme une agrégation de technologies se liant ensemble via des programmes publics et des investissements privés, via des relations personnelles et des protocoles techniques? Le réseau donne l?impression d?être à la fois l?idéal de progrès le plus abouti et l?idéal de base de notre culture tout en paraissant avoir émergé inconsciemment, poursuivant son but d?interconnexion sans fin pour lui-même et par lui-même? « Nous présumons que l?interconnexion est inhérente et inévitable. Le réseau semble être devenu le résultat du progrès, son accomplissement ultime », à l?image de machines qui accompliraient ainsi leurs propres désirs. Internet semble avoir accompli l?idéal des Lumières, l?idéal du progrès : celui que plus de connaissance et plus d?information conduit toujours à prendre de meilleures décisions.

Mais n?est-ce pas plutôt le contraire auquel nous assistons ? « Ce qui était censé éclairer le monde l?a obscurci. L?abondance d?information et la pluralité d?opinion accessible à tous n?ont pas produit un consensus cohérent, mais au contraire a déchiré la réalité en narrations simplistes, en théories fumeuses et en politique d?opinion. Contrairement au Moyen Âge, où l?âge sombre était lié à une perte de connaissance antique, l?âge sombre moderne est lié à une abondance de connaissance dont nous ne savons plus démêler collectivement l?apport. » Et Bridle de faire référence à l?obscurité qu?annonçait Lovecraft dès les premières lignes de l?Appel de Cthulhu :

« la chose la plus miséricordieuse en ce monde, je crois, c?est l?inaptitude de l?esprit humain à corréler tout ce dont il est témoin. Nous vivons sur une placide île d?ignorance au milieu de noires mers d?infini, et cela ne veut pas dire que nous puissions voyager loin. Les sciences, chacune attelée à sa propre direction, nous ont jusqu?ici peu fait de tort ; mais rassembler nos connaissances dissociées nous ouvrira de si terrifiants horizons de réalité, et la considération de notre effrayante position ici-bas, que soit nous deviendrons fous de la révélation, soit nous en fuirons la lumière mortelle dans la paix et la sécurité d?une nouvelle ère d?obscurité. »

L?obscurité dont parle Bridle c?est notre incapacité à voir clairement ce qui est devant nous, avec capacité et justice. Pour Bridle pourtant, ce constat ne doit pas être lu comme une condamnation de la technologie. Au contraire. Pour relever l?âge sombre qui s?annonce, il nous faut nous engager plus avant dans la technologie, avec elle, mais avec une compréhension radicalement différente de ce qu?il est possible d?en faire, en retrouver un sens que la seule recherche d?efficacité nous a fait perdre. Tout comme le changement climatique, les effets de la technologie s?étendent sur le globe et affectent tous les aspects de nos vies. Mais comme le changement climatique, ses effets sont potentiellement catastrophiques et résultent de notre incapacité à comprendre les conséquences de nos propres inventions. Nous devons changer de manière de voir et penser le monde, nous invite Bridle, un peu facilement ou naïvement. L?âge sombre n?est pas qu?un lieu de danger, c?est aussi un moment de possibilité et de liberté. Mais cet optimisme semble un peu de façade, tant la description qu?il fait de notre utilisation des technologies est sombre et glaçante. Les glitchs qu?il s?amusait à recenser comme une expression étrange des transformations culturelles nées de notre capacité à l?interconnexion semblent être devenus des sortes de monstres que personne ne maîtrise. Les effets de bords de nos créations sont devenus des créatures qui nous dévorent en retour. Nous perdons pied dans ce que nous avons créé.

Peut-on s?extraire de la pensée computationnelle ?

Dans son livre, Bridle étrille longuement la pensée computationnelle, ce mode de pensée à travers les machines, né du calcul, et qui estime que tout problème est soluble par essence. Il rappelle l?histoire de l?informatique, intimement liée à la question de la modélisation des essais nucléaires, des tirs balistiques et de la prédiction à l?image des travaux du mathématicien Lewis Fry Richardson qui va réaliser – des années 1910 à 1922, bien avant l?apparition des ordinateurs donc – des mesures climatiques pour produire le premier modèle de prédiction météorologique. Il faudra attendre les premiers ordinateurs pour être enfin capables de traiter d?imposants volumes de données pour que la prédiction météorologique se développe et se réalise. Le développement de capteurs (satellites, capteurs météo?) a mis peu à peu le globe sous calcul, sans que nous nous en rendions vraiment compte.

Pour James Bridle, l’histoire de la prédiction repose sur une série d?échecs – des échecs à distinguer la réalité de sa simulation, même si ce n’est peut-être pas le cas dans tous les domaines, notamment la météo justement – et qui promet sans cesse de s?améliorer sans voir que son principal écueil demeure de croire en sa surpuissance. « Nous avons été conditionnés pour croire que les ordinateurs rendaient le monde plus limpide et plus efficace, qu?ils allaient réduire la complexité et facilité de meilleures solutions aux problèmes qui nous assiègent, qu?ils allaient étendre notre capacité à adresser de plus larges domaines d?expertise. Mais cette histoire ne s?est pas révélée exacte du tout. Une meilleure lecture de l?histoire de l?informatique souligne une opacité croissante alliée à une concentration croissante du pouvoir et un pouvoir qui se retranche derrière des domaines d?expertise toujours plus étroits. » Effectivement, l?informatique n?a pas simplifié le monde.

En construisant des architectures complexes, qui ne peuvent plus être questionnées, on bloque et on transforme les problèmes en abstraction, en dilemmes définitivement rebelles à toute solution autre que mathématique. Tout problème devient une question mathématique plutôt qu?une question démocratique ou égalitaire. « En rapprochant la simulation de l?approximation, les grands prêtres de la pensée computationnelle pensent remplacer le monde par des modèles biaisés de lui-même ; et en le faisant, les modeleurs s?assurent du contrôle du monde. » James Bridle s’inscrit dans la continuité des constats de l’historien des sciences David Noble qui, dans Le progrès sans le peuple notamment, soulignait combien la pensée des ingénieurs avait contribué à donner du pouvoir aux puissants plutôt que favoriser l’équité ou la démocratie ; comme dans celle de Richard Sclove du Loka Institute, qui dans Choix technologiques, choix de société, soulignait combien les enjeux démocratiques restaient le parent pauvre de la question technologique.

Aujourd?hui, nous pouvons avoir l?impression que le monde nous est disponible, instantanément, explique Bridle, à l?image du site FlightRadar, un site qui permet de voir tous les avions en vol en temps réel? depuis le signal ADS-B qu?ils émettent. Enfin, pas tous. Seulement les vols commerciaux, ce qui escamote les manoeuvres militaires comme les vols des jets privés? Le GPS est devenu un autre de ces signaux invisibles qui surveille toute activité sur la planète, une horloge géographique qui régule les déplacements et le temps, la logistique, les infrastructures électriques comme les marchés financiers. Mais notre dépendance de plus en plus grande dans de tels systèmes masque combien ils sont manipulables, alors que nous avons tendance à penser qu’ils ne le sont pas.

La connectivité est devenue notre réalité

Notre rapport à l?espace et au code ne s?exprime pas uniquement dans les systèmes informatiques, rappelle Bridle. Des géographes comme Rob Kitchin et Martin Dodge, on posé le concept de code/space pour décrire l?imbrication du calcul avec nos environnements, à l?image des aéroports, conçus comme des systèmes et qui ne peuvent fonctionner sans informatique. C?est le cas de plus en plus de nos environnements les plus immédiats, gérés par des systèmes informatiques. Nos outils de travail les plus quotidiens comme nos véhicules exigent désormais des mises à jour quotidiennes et des échanges de données pour fonctionner. La connectivité et les algorithmes rythment jusqu?à nos vies sociales. Nos objets quotidiens sont tous devenus des code/space. Toutes nos activités sont « de plus en plus gouvernées par une logique algorithmique et policées par des processus informatiques opaques et cachés ». Cette emphase de production physique et culturelle du monde par l?informatique masque les inégalités de pouvoir qu?elles induisent, reproduisent et amplifient.

La pensée computationnelle s?infiltre partout : elle devient notre culture. Elle nous conditionne à la fois parce qu?elle nous est illisible et à la fois parce que nous la percevons comme neutre émotionnellement et politiquement. Les réponses automatisées nous semblent plus dignes de confiance que celles qui ne le sont pas. Dans la pensée computationnelle, nous sommes victimes du biais d?automatisation : « nous avons plus confiance dans l?information automatisée que dans notre propre expérience, même si elle est en conflit avec ce qu?on observe ». Les conducteurs de voitures comme les pilotes d?avion ont plus tendance à croire leurs instruments que leur expérience, même si celle-ci n?est pas alignée. Ceux qui suivent les systèmes automatisés prennent leurs décisions plus rapidement avec moins de questions : comme si l?action qui leur était suggérée prévenait toute question ou toute introspection relatives au problème. Dans le stress, nous préférons choisir l?option la plus simple, la plus immédiate. Nous préférons les stratégies faciles à suivre et à justifier. Nous préférons ce que nous dit la machine à ce que nous dit notre intuition qu?il faudrait corroborer en faisant un effort cognitif supplémentaire.

Pour Bridle, l?informatique, en ce sens, est un piratage de notre capacité cognitive, de notre capacité attentionnelle, qui renvoie toute responsabilité sur la machine. « À mesure que la vie s?accélère, les machines ne cessent de prendre en main de plus en plus de tâches cognitives, renforçant par là leur autorité – sans regarder les conséquences ». « Nous nous accommodons de mieux en mieux et de plus en plus aux confortables raccourcis cognitifs que nous proposent nos machines. L?informatique remplace la pensée consciente. Nous pensons de plus en plus comme des machines, ou plutôt nous ne pensons plus du tout ! ».

Nous vivons désormais dans la computation

Nous vivons désormais dans la computation. Elle n?est plus seulement l?architecture de notre monde : elle est devenue le fondement même de notre manière de penser. Elle est devenue si pervasive, si séductrice, que nous l?utilisons pour tout : elle remplace le mécanique, le physique, le social, le cognitif? « À mesure que l?informatique nous encercle, que nous lui assignons la puissance et la capacité à générer la vérité, et que nous lui confions de plus en plus de tâches cognitives, la réalité prend l?apparence d?un ordinateur et nos modes de pensées également. » La pensée computationnelle ne gouverne pas seulement nos actions présentes, mais modèle le futur pour qu?il s?adapte à ses paramètres. « Ce qui est difficile à modéliser, à calculer, à quantifier, ce qui est incertain ou ambigu, est désormais exclu du futur possible. » L?informatique projette un futur qui ressemble au passé (« Les algorithmes ne prédisent pas le futur, ils codifient le passé », disait déjà Cathy O’Neil). La pensée computationnelle est paresseuse. Elle propose finalement des réponses faciles. Elle nous fait croire qu?il y a toujours des réponses.

« La pensée computationnelle a triomphé parce qu?elle nous a d?abord séduits par sa puissance, puis elle nous a embrouillée par sa complexité, et finalement elle s?est imposée dans nos cortex comme une évidence. » Elle n?en demeure pas moins le produit d?une sursimplification, de données biaisées, d?obfuscation délibérée? qui nous montrent chaque jour leurs limites, à l?image des révélations quotidiennes qu?on peut lire sur les défaillances technologiques de notre monde. « Plus nous sommes obsédés à modéliser le monde, plus il apparaît inconnaissablement complexe », comme si notre tentative à le réduire était par nature impossible à mesure qu?on semble croire y parvenir.

Avons-nous atteint un pic de la connaissance ?

James Bridle nous rappelle que, comme le climat, les infrastructures en réseau sont fragiles. Un rapport britannique (A National infrastructure for the 21st Century (.pdf), 2009), qui évoquait autant l?internet que les réseaux d?adduction d?eau, d?approvisionnement d?électricité ou de gaz, l?avait très bien souligné : les réseaux souffrent d?une gouvernance fragmentée, sans responsabilités claires, peu cartographiés et sous-financés ; des infrastructures en silos ; des investissements privés comme publics insuffisants et plus encore un manque de compréhension de la complexité de leur fonctionnement… expliquent leur fragilité intrinsèque et la difficulté de leur maintenance. Ajoutez à cela les impacts du changement climatique sur leur maintenance et leur évolution et vous comprendrez que les réseaux ne sont pas dimensionnés pour faire face au futur. Bref, non seulement l?informatique contribue largement au réchauffement climatique, mais elle risque d?en être l?une des principales victimes.

Pour autant, peu de gens s?inquiètent vraiment de cette responsabilité quant aux usages mêmes que l?on fait du réseau. Les rares solutions esquissées qui peuvent aller de la taxation, à des régressions techniques, semblent impensables à projeter à l?échelle des réseaux. À mesure que la culture numérique devient toujours plus rapide et plus gourmande en données, elle devient aussi plus coûteuse et nécessite de plus en plus d?énergie.

Le problème du changement climatique c?est qu?il dégrade notre capacité à prédire le futur. Pour James Bridle, alors que la prédiction est au coeur du futur, celui-ci est de moins en moins clair, de moins en moins prévisible. Les modèles et cycles de la nature que nous avons établis depuis des siècles (comme la pollinisation, les migrations animales, etc.) sont en train de changer : les connaissances que nous avons accumulées sont en train de devenir fausses. Or, notre civilisation repose pour beaucoup sur ce type de prédiction, comme de savoir quelle graine planter à quel moment de l?année, comme d?être capable de prédire les sécheresses ou les feux de forêt? Nos enfants pourraient demain en savoir bien moins sur le monde que nous !

Le spécialiste du climat William Gail, fondateur du Global Weather Corporation, dans le New York Times, estimait que nous avons peut-être passé un « pic de connaissance » ! Pour le philosophe Timothy Morton (@the_eco_thought) blog), le réchauffement climatique est un « hyperobjet », comme il l’explique dans son livre éponyme : quelque chose qui nous entoure, nous enveloppe, mais qui est trop énorme pour qu?on puisse le voir ou le comprendre entièrement. On perçoit les hyperobjets par l?influence qu?ils ont sur certains éléments, comme la fonte des glaciers ou le développement des turbulences en avion? Ils défient nos capacités à les décrire rationnellement. Le réseau, comme le changement climatique, est une représentation de notre réalité précisément parce qu?il est très difficile à penser, estime Bridle. On a beau transporter ce réseau dans nos poches, le stocker dans des centres de données? Il n?est pas réductible à ces unités concrètes. Il est non-local et par nature contradictoire. On ne peut pas le connaître !

Où est passé le progrès ?

Dans le monde de la SF, on parle par exemple du temps du moteur à vapeur, explique l’auteur de science-fiction William Gibson. Le temps de la machine à vapeur est un concept qui désigne le moment où ce moteur est advenu sans que personne ne sache vraiment pourquoi il est apparu à tel moment plutôt qu?à un autre. En fait, Ptolémée avait largement expliqué le principe du moteur à vapeur et rien n?aurait pu empêcher les Romains par exemple d?en construire. Mais ce n?est pas ce qu?il s?est passé. Les moteurs à vapeur sont apparus quand c?était leur temps. L?histoire des sciences nous montre que la plupart des inventions sont simultanées et ont plusieurs auteurs. Elles apparaissent souvent à plusieurs endroits simultanément. Cela implique une certaine manière de raconter l?histoire des sciences. La recherche, la science, la technologie convergent en une invention qui semble toujours le résultat d?un passé qui y conduit directement. L?histoire semble servir à créer une justification a posteriori, tout comme la fameuse loi de Moore. Mais c?est là à la fois une projection et une extrapolation qui reposent plutôt sur nos préférences pour les histoires héroïques qu?autre chose, avance Bridle. Nous avons un biais qui nous fait préférer la marche inévitable du progrès plutôt que ses hoquets, qui nous fait préférer voir le progrès et ses prolongements vers le futur. Pourtant, « la loi de Moore n?est ni technique, ni économique : elle est libidinale ! », clame Bridle. Le développement des circuits intégrés dès les années 60 par quelques entreprises a transformé le secteur au profit de quelques très grosses entreprises. Cette industrie a transformé le matériel et l?a distingué du logiciel. Elle a aussi mis fin à l?artisanat, à la réparation et à l?efficacité logicielle? Alors que les premiers développeurs logiciels avaient le souci d?économiser les ressources en optimisant leur code, les programmeurs ont pu s?en passer, sachant qu?ils devaient attendre quelques mois pour disposer de deux fois plus de puissance. L?héritage de la loi de Moore c?est que le logiciel est devenu le centre de nos sociétés. La courbe de puissance dessinée par la loi de Moore est devenue l?image du progrès elle-même : un futur d?abondance, où le présent n?avait plus besoin de s’accommoder de quoi que ce soit. « La loi de l?informatique est devenue une loi économique et une loi morale ». La conséquence est qu?on a l?impression de vivre dans un âge d?informatique ubiquitaire, disponible partout et tout le temps, dans des nuages à la puissance de calcul infinis? En 2008, Chris Anderson, proclamait la fin de la théorie, c?est-à-dire que nous n?aurons plus besoin de construire des modèles du monde. L?informatique massive allait produire la vérité depuis des volumes sans précédent de données, le Big Data. Pour Bridle, « la fausse promesse du Big Data est le résultat logique du réductionnisme scientifique : la croyance que des systèmes complexes peuvent être compris en en démantelant les composants et en étudiants ces pièces isolément. »

Mais les grands volumes de données ne produisent pas de la connaissance automatiquement. Dans la recherche pharmacologique par exemple, les dépenses et investissements n?ont jamais été aussi forts alors que les découvertes, elles, n?ont jamais produit aussi peu de nouveaux traitements. On appelle cela la loi d?Eroom : l?exact inverse de la loi de Moore. Le nombre de résultats de recherche chute et ces résultats sont de moins en moins dignes de confiance. Si les publications scientifiques n?ont jamais été aussi volumineuses (au détriment de leur qualité), les rétractions ont augmenté et le nombre de recherches ayant un impact significatif, elles, ont diminué proportionnellement. La science connaît une crise de réplicabilité majeure. Le p-hacking (la tromperie sur les probabilités – la signification statistique que réprésente la valeur p -, c?est-à-dire le fait de considérer un résultat expérimental comme statistiquement signifiant alors qu?il ne l?est pas) se porte bien. Le séquençage ADN est devenu très rapide. Les bases de données de protéines ont explosé en volume en 25 ans. Le coût pour les utiliser a chuté, les recherches ont explosé? Mais le nombre de nouveaux médicaments lui a périclité.

Plusieurs facteurs expliquent ce revirement de la loi du progrès. La première est que les choses les plus évidentes à découvrir ont été exploitées. La régulation est également devenue plus exigeante et la société moins tolérante aux risques. Mais le problème principal relève certainement des méthodes désormais employées. Historiquement, la découverte de médicament était le fait de petites équipes de chercheurs qui se concentrait intensément sur de petits groupes de molécules. Mais depuis 20 ans, ces processus ont été largement automatisés, sous la forme de ce qu?on appelle le HTS (High-throughput screening pour criblage à haut débit) qui consiste en des recherches automatisées de réactions potentielles via de vastes bibliothèques de composants. Le HTS a priorisé le volume sur la profondeur. Ce qui a marché dans d?autres industries a colonisé la recherche pharmaceutique : automatisation, systématisation et mesures? Certains commencent à douter de l?efficacité de ces méthodes et voudraient revenir à l?empirisme humain, au hasard, au bordel, au jeu? À nouveau, « la façon dont nous pensons le monde est façonnée par les outils à notre disposition ». Nos instruments déterminent ce qui peut être fait et donc, ce qui peut être pensé. À mesure que la science est de plus en plus technologisée, tous les domaines de la pensée humaine le sont à leur tour. Les vastes quantités de données ne nous aident qu?à voir les problèmes des vastes quantités de données.

Pris au piège de l’interconnexion

Les bourses et places de marchés d?antan ont été remplacées par des entrepôts, des data centers, anonymes, dans des banlieues d?affaires impersonnelles. La dérégulation et la numérisation ont transformé en profondeur les marchés financiers. La vitesse des échanges s?est accélérée avec la technologie. Les transactions à haute fréquence (HFT, High-frequency trading) reposent sur la latence et la visibilité. La latence, c?est-à-dire la rapidité d?échange où des millions peuvent s?échanger en quelques millisecondes et la visibilité (sauf pour les non-initiés), c?est-à-dire le fait que les échanges sont visibles de tous les participants, instantanément. Les échanges reposent sur des algorithmes capables de calculer des variations éclair et de masquer les mouvements de fonds. Les échanges sont plus opaques que jamais : ils s?imposent sur des forums privés, les « dark pools » (en 2015, la SEC, l’organisme américain de réglementation et de contrôle des marchés financiers, estimait que les échanges privés représentaient 1/5e du total des échanges)? Les échanges financiers ont été rendus obscurs et plus inégaux que jamais, rappelle Bridle. Dans son livre, Flash Boy, l’ancien investisseur Michael Lewis décrivait combien ces marchés étaient devenus un système de classe, un terrain de jeu accessible seulement à ceux qui ont les ressources pour y accéder. Le marché, qui était par nature public et démocratique, est devenu fermé et privé. Les constats de l’économiste Thomas Piketty dans Le Capital au XXIe siècle sur la montée des inégalités? montrent à leur tour combien l?idée de progrès s?est renversée. Les économistes ont longtemps défendu l?idée que la croissance réduisait les inégalités. Mais cela ne se fait pas automatiquement, tant s?en faut. Au contraire. Pour James Bridle, « La technologie est devenue un moteur des inégalités ».

L?automatisation rend les compétences humaines obsolètes et même ceux qui programment les machines ne sont pas épargnés. À mesure que les capacités des machines s?améliorent et s?élargissent, de plus en plus de professions sont assiégées. L?internet et les effets de réseaux renforcent encore ces effets en favorisant des places de marché où le plus fort l?emporte. Pour Bridle, l?une des clefs qui expliquent que les inégalités se renforcent avec la technologie est intrinsèquement liée à l?opacité des systèmes. Comme les robots des entrepôts d?Amazon et ses employés commandés par des commandes vocales émanant de robots, nous sommes en train d?arranger le monde pour rendre les machines toujours plus efficaces, quitte à ce que le monde devienne incompréhensible et inadapté aux humains. Les travailleurs deviennent le carburant des algorithmes, utiles seulement pour leurs capacités à se déplacer et à suivre des ordres. Pour Bridle, les startups et les Gafam signent le retour des barons voleurs, ces tyrans industriels du XIXe siècle. La technologie est venue couvrir d?un voile d?opacité la prédation : l?avidité s?est habillée de la logique inhumaine des machines. Amazon ou Uber cachent derrière des pixels lumineux un système d?exploitation sans faille. Leurs applications sont des télécommandes qui agissent sur des gens, dans le monde réel, avec des effets quasi impossibles à voir pour celui qui appuie sur le bouton. La technologie est mise au service des entreprises et du profit au détriment de tout autre intérêt, comme l?a montré le dieselgate. « L?histoire de l?automatisation n?est pas qu?une histoire de machines qui prennent le travail de travailleurs humains, c?est aussi et avant tout l?histoire d?une concentration du pouvoir en de moins en moins de mains, et une concentration de la compréhension du monde en de moins en moins de têtes. »

La complexité a ajouté un voile d?opacité supplémentaire. Désormais, les programmes de HFT scannent également l?information. En 2013, à 1:07 pm, le compte twitter officiel d?Associated press a été piraté par l?Armée électronique syrienne. Un tweet annonçant deux explosions à la maison blanche et le président Obama blessé a été envoyé à 2 millions d?abonnés. À 1:08 pm le Dow Jones a connu un flash crash : l?index a perdu 150 points avant même que la plupart des abonnés humains au compte d?AP n?aient vu le tweet.

L?interconnexion algorithmique du monde n?en est qu?à ses débuts, estime Bridle. Et les marchés ne sont pas le seul endroit où ces étranges cascades algorithmiques se déroulent. Sur des places de marchés de produits personnalisables, des algorithmes créent des milliers de produits automatiquement? à l’image de slogans pour tee-shirts insultants. Ces produits n?ont bien souvent jamais trouvé d?acheteurs. Ils n?existaient que virtuellement. Reste que ces programmes interreliés ne seront pas demain confinés aux marchés financiers et aux supermarchés en ligne, prédit Bridle. Ils vont entrer dans tous les pans de nos vies quotidiennes. Et générer de nombreux problèmes, à l?image de ceux relevés autour des serrures de portes électroniques ou des objets connectés.

À quoi va ressembler demain ? Epagogix est une startup qui analyse les scénarios de films pour prédire leur succès (selon des critères émotionnels et lucratifs, bien sûr). Ils extraient des données de Netflix, Hulu ou YouTube notamment et produisent des propositions pour alimenter les binge-watchers? alimentant leur propre paranoïa de blockbusters toujours plus semblables? Au risque de produire un sens toujours plus étroit, un monde toujours plus uniforme à mesure que la puissance computationnelle s?interrelie.

Pour la sociologue Deborah Cowen (@debcowen), nous sommes entrés dans la tyrannie de la techne explique-t-elle dans The Deadly Life of Logistics (2014) : l?efficacité est devenu primordiale sur tous les autres objectifs, sur toutes les autres valeurs…

L?étrangeté va-t-elle devenir ce qui ressemble le plus à l’intelligence ?

Comment une machine apprend-elle avec l?apprentissage automatisé ? Bridle rapporte une histoire pour en montrer les limites. Pour faire fonctionner un système de machine learning, il suffit de fournir à une machine des images. Sur certaines, on distingue un char d’assaut qu?elle doit apprendre à reconnaître. Sur d?autres, il n?y en a pas, et elle doit apprendre qu?il n?y en a pas en comparant ces images aux précédentes. La machine évalue les images selon de multiples couches, comme des angles de compréhension, mais sans avoir aucune compréhension de ce qu?elle analyse. Jusqu?à distinguer les images où il y a char de celles où il n?y en a pas. Vous contrôlez ensuite qu?elle a bien compris en lui fournissant des images sur lesquelles on trouve parfois des chars. Tout se passe bien, elle les reconnaît parfaitement ! Puis vous lui en fournissez encore d?autres, et là, la reconnaissance s?effondre d?un coup ! Que s?est-il passé ? En fait, la machine n?a pas appris à reconnaître les chars d?assaut. Elle a appris à reconnaître un autre élément qui était présent sur les images originelles et les suivantes, comme la présence du soleil du matin, c’est-à-dire le moment où la photo a été prise.

Pour Bridle, cette histoire est emblématique d?un problème majeur de l?Intelligence artificielle : le fait qu?elle soit fondamentalement différente et insondable. « Nous ne pouvons pas vraiment comprendre ce qu?elle produit, nous pouvons juste ajuster ses résultats ». À l?origine, rappelle-t-il, les premiers travaux sur les réseaux de neurones ont été développés avec le Perceptron mis au point par le laboratoire de recherche de la Navy américaine, conçu par le psychologue Frank Rosenblatt. L?idée originelle du Perceptron reposait sur le connectionnisme : la croyance que l?intelligence était une propriété émergente de la connexion entre les neurones. Cette vision a été attaquée par d?autres chercheurs qui pensaient plutôt que l?intelligence était le produit de la manipulation des symboles, nécessitant des connaissances du monde pour raisonner. Ce débat, entre ces deux courants de l?IA, n?a pas tant porté sur ce que signifiait être intelligent, mais sur ce qui était intelligible de l?intelligence. Il rappelle que l?un des avocats du connectionnisme était Friedrich Hayek, le père du néolibéralisme. Pour Bridle, le parallèle entre l?ordre néolibéral du monde (où un marché impartial règne en maître sur les passions humaines) et cette vision du fonctionnement du cerveau qui sépare le monde sensible de sa réalité est signifiant. Pour Hayek, la connaissance est dispersée et distribuée dans le cortex cérébral tout comme elle est distribuée sur le marché entre les individus. Aujourd?hui, le modèle connectionniste règne sur l?IA. Un ordre naturel du monde peut donc émerger spontanément quand les biais humains sont retirés de la production de connaissance. Mais ces affirmations ne sont pas sans poser problème?

La reconnaissance d?image ou de texte s?est imposé comme le premier terrain de jeu de l?IA, jusqu?à l?excès, à l?image des recherches menées par 2 chercheurs de Shanghai, Xiaolin Wu et Xi Zhang, qui ont entraîné un système pour inférer la criminalité depuis les traits du visage. Cette horrible phrénologie, qui marche dans les pas de Francis Galton et Cesare Lombroso, rappelle combien l’analyse de données est parfois assez proche des pires pseudosciences, comme le dénonçait Cathy O’Neil ? Autre exemple avec How-Old.net un outil de reconnaissance faciale qui tente de prédire l?âge d?une personne, et qui a été utilisée pour deviner l?âge de migrants arrivants au Royaume-Uni. Microsoft, qui a développé cette application, s?est défendu et a dénoncé cette utilisation… comme les 2 chercheurs chinois. Ceux-ci expliquaient néanmoins dans leur défense que leur système était « sans préjugé » (sic). Comme souvent, on nous explique que la technologie, et plus encore l?apprentissage automatisé, est neutre. Mais « la technologie n?émerge pas de nulle part. Elle est toujours la réification de croyances et de désirs, notamment de ses créateurs. Leurs biais sont encodés dans les machines et les bases de données ou les images que nous prenons du monde. »

Bridle nous rappelle l?histoire de Joz Wang, qui s?était rendu compte que son nouvel appareil photo ne reconnaissait pas ceux qui n?étaient pas blancs ou celle de la caméra d?un ordinateur HP qui ne faisait pas le point sur les visages noirs. Mais cela n?est pas propre aux développements les plus récents. Les artistes Adam Broomberg et Oliver Chanarin ont rappelé que des années 50 aux années 80, les pellicules argentiques de Kodak avaient déjà un problème avec les peaux sombres. Les créateurs de ces technologies n?ont pas créé volontairement des machines racistes, bien sûr, mais ces machines ont révélé les inégalités présentes dans notre société. Elles ont révélé que le préjudice racial était profondément encodé dans notre culture. Et tout ce qui en relève le révèle. « Nous ne résoudrons pas les problèmes du présent avec des outils du passé », conclut Bridle de ces exemples.

Pour l?artiste Trevor Paglen (@trevorpaglen), la montée de l?IA amplifie ces erreurs, car nous utilisons des données du passé pour l?entraîner. Bridle revient également sur l?origine des systèmes de police prédictive et leur liaison avec l?étude des tremblements de terre, qui tente de croire que la contagion du crime est semblable aux répliques sismiques.

Pour lui, le risque est que ces nouveaux modèles produits par les machines, leurs modalités de décision et les conséquences de ces décisions, nous restent incompréhensibles, car produites par des processus cognitifs trop différents des nôtres. Google Translate par exemple, de 2006 jusqu?en 2016 utilisait une technique d?inférence statistique du langage. Plutôt que d?essayer de comprendre comment les langues fonctionnent, le système fonctionnait depuis un vaste corpus de traductions existantes (provenant de traduction de réunions des Nations Unies et du Parlement européen notamment). Son rôle était d?enlever la compréhension de l?équation pour la remplacer par des corrélations basées sur des données. Comme le disait le spécialiste de ces questions chez IBM, Frederick Jelinek : « chaque fois que je vire un linguiste, la performance de mon système de reconnaissance du langage s?améliore ! ». En 2016, Google a commencé à déployer des réseaux de neurones pour faire fonctionner Google Translate, et la qualité des traductions a réellement progressé. Google Translate a développé sa propre carte de connexion entre les mots où les mots sont encodés par leur distance aux autres mots dans une grille de sens qui n’est compréhensible que par l?ordinateur. Cette carte multidimensionnelle suit tant de pistes différentes qu?un esprit humain ne pourrait pas la comprendre. L?apprentissage automatisé tire du sens d?un espace qui nous est invisible et intangible. Est-ce à dire que l?étrangeté est en passe de devenir ce qui nous semble le plus ressembler à l?intelligence ?

À l?époque de Deep Blue, c?est la force brute de l?ordinateur qui a permis de vaincre Kasparov : la capacité de la machine à évaluer des milliers de combinaisons provenant de millions de parties? Quand AlphaGo a vaincu Lee Sedol, la machine a été capable de faire des mouvements qui ont stupéfié l?assistance, car ils n?avaient jamais été faits. AlphaGo avait été également nourri de millions de parties jouées par des experts du Go, mais la machine avait également joué contre elle-même des millions de parties? Désormais les images de nos appareils photo sont capables de composer depuis des photos, des images qui n?existent pas en les recombinant. « Les algorithmes inventent une mémoire et des images qui n?ont jamais existé ». Les processus d?enregistrements que nous avons mis au point produisent des artefacts qui ne proviennent plus de l?expérience du monde, mais que nous ne pouvons plus distinguer de la réalité. Pour Bridle, le problème n?est pas tant que les machines puissent réécrire la réalité, mais que la réalité, le passé comme le futur, ne puissent plus être correctement racontés. DeepDream de Google illustre parfaitement cela. L?enjeu n?est pas pour nous de comprendre ce qu?est l?image, mais de nous demander ce que le réseau de neurones veut y voir ?

Pour Bridle, nous devrions ajouter une 4e loi aux trois lois de la robotique d?Asimov. Les machines intelligentes devraient être capables de s?expliquer aux humains. Ce devrait être une loi première, car éthique. Mais le fait que ce garde-fou ait déjà été brisé laisse peu d?espoir quant au fait que les autres règles le soient à leur tour. « Nous allons devoir affronter un monde où nous ne comprendrons plus nos propres créations et le résultat d?une telle opacité sera toujours et inévitablement violent ».

Pour Bridle, l?alliance entre l?humain et la machine peut encore fonctionner, comme l?a montré Garry Kasparov avec les échecs avancés, consistant à ce qu?une IA et qu?un humain jouent ensemble plutôt qu?ils ne s?affrontent. C?est dans la perspective d?associer les talents des humains et des machines, d?associer leurs différences d?une manière coopérative plutôt que compétitive que nous parviendrons à réduire l?opacité computationnelle. La perspective que l?intelligence des machines nous dépasse dans nombre de disciplines est une perspective destructrice. Nous devons trouver la voie d?une éthique de la coopération avec les machines, plutôt qu?un affrontement.

Surveillance : nous sommes devenus plus paranoïaques

Bridle s?en prend également longuement à la surveillance et notamment à la surveillance d?Etat pour souligner combien elle nous est masquée et continue à l?être, malgré les révélations d?Edward Snowden. Vous pouvez lire n?importe quel e-mail dans le monde d?une personne dont vous avez l?adresse. Vous pouvez regarder le trafic de tout site web. Vous pouvez suivre les mouvements de tout ordinateur portable à travers le monde. Pour Bridle, cela nous a montré qu?il n?y a pas de restriction possible à la capacité de surveillance du réseau. L?échelle et la taille de la surveillance a excédé ce que nous pensions comme étant techniquement possible. Les révélations sur la surveillance ont dépassé notre capacité à vouloir les ignorer. Pourtant, nous n?avons pas réagi. Nous sommes seulement devenus un peu plus paranoïaques. « Tout comme le changement climatique, la surveillance de masse était trop vaste et trop déstabilisatrice pour que la société jette sa tête dedans ». Si les gouvernements ont toujours espionné leur population comme leurs ennemis, leur capacité de surveillance a été radicalement transformée par la puissance de la technologie. La possibilité technique a nourri la nécessité politique. « La surveillance s?est développée parce qu?elle pouvait l?être, pas parce qu?elle est efficace et comme toute autre implémentation de système automatique, parce qu?elle altère la frontière de la responsabilité et permet de faire reposer les reproches sur la machine. » En 2016, le lanceur d?alerte William Binney témoignant devant une commission d?enquête du parlement britannique expliquait que les données collectées par les agences de renseignement étaient à 99 % inutiles. Le volume de données a depuis longtemps débordé l?analyse, rendant impossible le fait de trouver les données pertinentes pour résoudre les menaces spécifiques. Cet avertissement a souvent été répété, sans que ses implications ne soient suivies d?effets. Comme le disait le président Obama : trop d?intelligence est le problème. Notre problème n?est pas tant l?échec de la collecte de l?intelligence que l?échec à intégrer et comprendre l?intelligence que nous avons déjà. Plus d?information ne signifie pas plus de compréhension. Les caméras de surveillance comme la surveillance globale ne font que renforcer la paranoïa sans proposer de solutions pour la résoudre. Les deux sont rétroactives et vengeresses. Au mieux, elles ne servent à arrêter qu?une fois le crime commis, qu?une fois que l?événement est passé et n?aide pas à en comprendre les causes. La lumière permet aux gens de sentir en sécurité, mais ne les rend pas plus en sécurité. Pour Bridle, si la surveillance échoue, c?est aussi parce qu?elle repose et dépend d?images plus que de compréhension et qu?elle repose sur la croyance qu?il suffit d?une justification pour s’imposer.

En opposition au secret, nous demandons de la transparence, mais elle n?est peut-être pas le bon levier. La NSA et Wikileaks partagent la même vision du monde avec des finalités différentes, rappelle Bridle. Les deux pensent qu?il y a des secrets au coeur du monde qui, s?ils étaient connus, pourraient rendre le monde meilleur. Wikileaks veut la transparence pour tous. La NSA veut la transparence pour elle. Les deux fonctionnent sur une même vision du monde. Wikileaks ne voulait pas devenir le miroir de la NSA, mais voulait briser la machine de surveillance. En 2006, Assange a écrit « Conspiracy as Governance » (.pdf). Pour lui, tout système autoritaire repose sur des conspirations, car leur pouvoir repose sur le secret. Les leaks minent leur pouvoir, pas par ce qui fuite, mais parce que la peur et la paranoïa dégradent la capacité du système autoritaire à conspirer. Mais les fuites de données ne suffisent pas à remettre en cause ou à abattre l?autorité. Les révélations ne font pas bouger l?opinion, sinon, nous aurions réagi bien avant les révélations de Snowden. Tant que les organisations de surveillance ne changent pas de l?intérieur, ceux qui sont en dehors de ces organisations, comme les lanceurs d?alertes, n?ont pas de capacité d?action. Ils attendent que des fonctionnaires ou que la justice confirment ce qu?ils avancent. Tout comme la disponibilité de vaste capacité de calcul conduit au développement de la surveillance globale, cette logique induit et limite notre manière d?y répondre. La plus petite part d?incertitude l?emporte. La dépendance à la logique du calcul pour saisir la vérité du monde nous laisse dans une position fondamentalement et paradoxalement précaire. La connaissance requiert la surveillance. Mais toute connaissance est réduite alors à qui est connaissable par le calcul. Toute connaissance repose alors sur des formes de surveillance. La logique computationnelle nous refuse toute capacité à penser la situation et à agir rationnellement en absence de certitude. Elle ne permet qu?une action réactive, qui n?est possible seulement après qu?une quantité suffisante d?évidences ait été accumulée et empêche toute action présente, quand on en a le plus besoin. La surveillance et notre complicité sont l?une des caractéristiques les plus fondamentales du nouvel âge sombre, car elle repose sur une vision aveugle : tout est éclairé, mais rien n?est vu ! « Nous sommes désormais convaincu que jeter la lumière sur un sujet est la même chose que le penser et que d?avoir des moyens d?action sur lui ». Mais la lumière du calcul nous dépossède de pouvoir, car elle nous fait crouler sous l?information et nous donne un faux sens de la sécurité. C?est là encore une conséquence de la pensée computationnelle. « Notre vision est devenue universelle, mais notre capacité d?action, elle, s?est réduite plus que jamais. » A l?image du réchauffement climatique, à nouveau, « nous savons de plus en plus de choses sur le monde, mais nous sommes de moins en moins capable d?agir sur lui ». Au final, nous nous sentons plus démunis que jamais. Plutôt que de reconsidérer nos hypothèses, nous nous enfonçons dans la paranoïa et la désintégration sociale.

De l?incompréhension entre les hommes quand les machines régulent leurs relations

Le monde est devenu trop complexe pour des histoires simples. En fait, « la démultiplication de l?information ne produit pas plus de clarté, mais plus de confusion ». L?un des symptômes de la paranoïa consiste à croire que quelqu?un vous surveille. Mais cette croyance est désormais devenue raisonnable, s?amuse Bridle en évoquant la surveillance d?Etat comme la surveillance des services numériques. Nous sommes entièrement sous contrôle, tant et si bien qu?on peut se demander qui est paranoïaque désormais ? Bridle évoque les chemtrails, cette croyance, très populaire sur le net, qui pense que les avions sont utilisés pour contrôler l?atmosphère ou les esprits via des diffuseurs chimiques. Dans notre monde hyperconnecté, des schismes émergent de nos modes de perception de masse. « Nous regardons tous les mêmes cieux, mais nous y voyons des choses différentes ». Et certains y voient une conspiration globale pour contrôler les cerveaux ou pour transformer le climat à des fins néfastes. Si les chemtrails peuvent paraître être un folklore du réseau, force est de constater qu?il s?est répandu. Des questions à ce sujet sont adressées aux Parlements, aux organisations scientifiques, aux médias? Ceux qui adhèrent à ces théories sont multiples et celles-ci ne sont d?ailleurs pas uniques, mais plutôt fractales, multifacettes. Les chemtrails sont même devenus le vortex de bien d?autres théories conspirationnistes. Le journaliste Carey Dunne en a même fait le récit. À nouveau, Bridle détaille l?entremêlement entre la vérité et la désinformation. Il souligne qu?en 2017 par exemple, la dernière édition de l?Atlas des nuages international publié par l?organisation météorologique mondiale a ajouté une nouvelle classification à sa liste officielle de nuages : l?homogenitus, plusieurs formes de nuages qui se forment et se développent à la suite de l?activité humaine. Des nuages anthropocéniques en quelque sorte. Effectivement, rappelle-t-il, la combustion du kérosène dans les moteurs d?avions produit de la vapeur d?eau et du dioxyde de carbone. La vapeur d?eau se transforme en petite goutte d?eau et en cristaux de glace. À haute altitude, avec les impuretés du kérosène, des nuages se forment sur le passage des avions. Ce sont les Cirrus Homogenitus, les « Contrails », les traînées de condensation, qui sont effectivement les résultats de l?action humaine. Ils sont le signe visible de ce que rejettent les moteurs d?avions d?une manière invisible. On estime d?ailleurs qu?ils peuvent affecter le climat, notamment quand ils persistent, pas tant par leur composition chimique que par l?opacité nuageuse qui affecte l?atmosphère?

Avant on lisait l?avenir dans les haruspices et le vol des oiseaux. Désormais, on les traque en ligne, cherchant des traces de modification du monde dans ce qu?on enregistre dans l?informatique en nuage. Nombre de théories conspirationnistes reposent sur des formes de connaissance folkloriques, produites par des gens qui ne savent pas articuler les formes scientifiques qu?ils peuvent recouvrir de manière acceptable. Les Inuits ont depuis longtemps une connaissance du changement climatique qu?ils décrivent par des changements d?alignement d?étoiles, par des changements dans les vents, par les modifications des parcours des animaux? ou de luminosité de la neige… et par un ensemble de connaissance qui n?ont pas eu de reconnaissance scientifique directe avant que d’autres indices, plus scientifiques, ne les éclaire.

« Les théories conspirationnistes sont le dernier ressort des sans pouvoirs, imaginant ce que serait que d?être puissant », avance Bridle. Pour le spécialiste de la postmodernité, Frederic Jameson, les théories conspirationnistes sont « la cartographie cognitive des plus démunis dans un âge postmoderne ». C?est la figure dégradée de la logique par ceux qui ont le moins de capital culturel, une tentative désespérée de se représenter un système qu?ils ne comprennent pas. Encerclé par l?évidence de la complexité, l?individu a recours à un récit simpliste pour tenter de regagner un peu de contrôle sur la situation. À mesure que la technologie augmente et accélère le monde, celui-ci devient plus complexe. Les théories conspirationnistes deviennent alors des réponses, étranges, intriquées et violentes, pour s?en accommoder.

Avec la désinformation et les fakes news, la paranoïa de notre monde est devenue mainstream. Les nuages faits par l?homme n?ont plus besoin d?être plantés dans l?atmosphère : ils sont insérés comme du code dans les réseaux d?information et transforment notre perception du monde. Pour Bridle, les réseaux ont changé la manière dont nous formons notre culture.

Bridle rappelle que le premier cas documenté de schizophrénie paranoïaque a été celui de James Tilly Matthews en 1796 qui accusait le parlement britannique de l?avoir soumis à une machine faite de pompe hydraulique et de systèmes magnétiques pour contrôler son esprit. Or rappelle Bridle, à la même époque Lavoisier et Priestley, avaient créés une nouvelle compréhension du monde physique en expliquant les éléments. Les disputes scientifiques étaient très relayées dans les débats. James Matthews semble en avoir tiré sa propre interprétation pour en produire une conspiration. Il en est souvent ainsi. La complexité technique produit ses propres interprétations. Le nombre de gens qui consultent des forums sur la prise de contrôle de l?esprit est plus nombreux que ceux qui reçoivent un traitement pour se guérir de cette paranoïa. Entre le délire et la sous-culture, il y a une différence parfois imperceptible. Toute opposition à ces croyances peut être rejetée comme un moyen de dissimuler la vérité que ces gens expriment ou ressentent. Les microcommunautés conspirationnistes se cooptent, créent leur dynamique, qui se supportent mutuellement et se soutiennent. Ils créent des espaces où leur vision, leur compréhension du monde, leur croyance sont validées et mises en valeur. Ces groupes qui autorenforcent leurs croyances semblent être une caractéristique de la nouvelle obscurité. Notre capacité à décrire le monde résulte des outils que nous avons à notre disposition, et nous avons construit des outils qui renforcent encore ces effets : « un populisme automatisé », qui donne aux gens ce qu?ils veulent dès qu?ils le souhaitent.

Ainsi, si vous cherchez de l?information sur les vaccins, vous tomberez invariablement sur de l?information contre les vaccins. Si vous cherchez de l’information sur la rotondité de la terre, vous tomberez inexorablement sur ceux qui pensent qu’elle est plate. Ces opinions divergentes semblent devenir la majorité tant elles sont exprimées et répétées avec force. « Ce qui se passe quand vous désirez en savoir de plus en plus sur le monde entre en collision avec un système qui va continuer à assortir ses réponses à n?importe quelle question, sans résolution ». Vous trouverez toujours quelqu?un pour rejoindre vos points de vue. Et toujours un flux pour les valider. Voici l’âge de la radicalisation algorithmique (à l’image de ce que disait Zeynep Tufekci de YouTube). Les théories conspirationnistes sont devenues la narration dominante. Elles expliquent tout. Dans la zone grise des connaissances, tout prend un sens. Les multiples explications que notre cognition limitée utilise fonctionnent comme un masque sur les demi-vérités du monde. La zone grise permet toutes les approximations et nous empêche, assez confortablement, d?agir avec sens dans le présent.

Coincés dans la boucle algorithmique

Les vidéos de déballage de paquets cadeaux connaissent un énorme succès sur l?internet. Sur YouTube, vous pouvez passer des heures à en visionner. Certaines ont déjà été vues par des millions de personnes. Ryan?s Toy Review, spécialisé dans l?ouverture de jouets, est l?une des 6 chaînes les plus populaires de YouTube ! On peut se perdre à regarder ces gens surpris : notre désir à les regarder peut-être alimenté en boucle et sans fin par les systèmes de recommandation algorithmique. Dans son livre, Bridle revient sur la dénonciation des vidéos automatisés pour enfants que l?on trouve sur YouTube et contre lesquels il s?était élevé il y a quelques mois (voir l’article originel). Sur YouTube, ni les algorithmes ni l?audience ne se préoccupent du sens. Tout l?enjeu de la recommandation est de vous montrer le plus de vidéos possibles et de préférence celles qui devraient le plus vous plaire – parce qu’elles ont plu au plus grand nombre.

Le problème de cette recommandation automatisée est de fonctionner sur des rapprochements sans signification. Les contenus de confiance, comme ceux produits par des marques ou chaînes officielles, conduisent, via les recommandations automatiques, à des contenus similaires, mais qui ne leur ressemble en rien. C?est le même processus qui est à l?oeuvre sur FB ou Google : le contenu est rapproché de contenus similaires ou proches, mais cette proximité n?est pas de sens, mais est faite de mots clés, d’audiences… Les contenus inappropriés se mêlent ainsi à tous les autres. Peppa Pig, la reine des neiges ou Bob l’éponge mènent à tous les contenus qui en parlent? D?une information médicale sur l?apport de la vaccination vous glissez vers une information contre la vaccination. Les contenus sont agencés en flux sans fin et sans sens par l?automatisation algorithmique et sémantique. Des vidéos sont créés automatiquement par des logiciels pour bénéficier de l?audience des contenus les plus vus. Des bots exploitent les systèmes d?apprentissage automatisés de YouTube en en faisant bénéficier YouTube, permettant de générer plus d?exposition publicitaire et plus de revenus. La complicité de YouTube aux failles de son exploitation est totale, pointe Bridle. Le problème, c?est que des enfants voient les vidéos totalement absurdes générées par des programmes automatisés pour bénéficier des mouvements d?audience de la plateforme, à l?image de chaînes comme Bounce Patrol ou Video Gyan. C?est une conséquence logique de l?automatisation, comme les caméras racistes ou les produits insultants vendus sur Amazon. Ces produits algorithmiques sont parfaitement adaptés aux algorithmes et à la boucle de revenus qui leur profite autant à eux qu?aux plateformes qui les accueillent.

Bridle souligne que ce n?est pas que des trolls qui tentent de profiter d?un système ou qu?une conséquence de l?automatisation? « C?est une vaste – et complètement cachée – matrice d?interactions entre des désirs et des récompenses, des technologies et leurs audiences, des tropes et des masques ». Des technologies peu maîtrisées sont mises au service d?une production industrialisée cauchemardesque. Les failles des algorithmes sont les dernières failles du capitalisme où certains s?infiltrent non pas pour le renverser, mais pour tenter de gratter un peu d?argent que les plus gros systèmes s?accaparent. Au final, des vidéos automatisées finissent par être vues par des enfants. Leurs personnages préférés y font n?importe quoi, parfois suggèrent des scènes de meurtre ou de viols. Ces effets de réseaux causent des problèmes réels. Les algorithmes de YouTube ont besoin d?exploitation pour produire leurs revenus. Derrière leurs aspects séduisants, ils encodent les pires aspects du marché, notamment l?avidité. « La capacité à exploiter l?autre est encodée dans les systèmes que nous construisons », pointe très justement James Bridle, puisque leur efficacité repose sur leur capacité à extraire de l?argent de nos comportements. Contrairement à ce qu?on croyait, à l’avenir, les IA et les robots ne vont pas tant dominer les usines et nos lieux de travail, mais vont dominer et exploiter nos salles de jeux, nos salons, nos maisons? À défaut d’une solution, Google annonçait en avril que l’application YouTube Kids allait devenir « non-algorithmique »… À croire, comme le pointait très justement le chercheur Olivier Ertzscheid, que l’algorithimsation n’est pas une solution sans limites.

Pour Bridle, les humains sont dégradés des deux côtés de l’équation : à la fois dans l?exploitation qui est faite de leur attention et à la fois dans l?exploitation de leur travail. Ces nouvelles formes de violence sont inhérentes aux systèmes numériques et à leur motivation capitaliste. Le système favorise l?abus et ceux qui le produisent sont complices, accuse-t-il. L?architecture qu?ils ont construite pour extraire le maximum de revenus des vidéos en ligne a été hackée par d?autres systèmes pour abuser d?enfants à une échelle massive. Les propriétaires de ces plateformes ont une responsabilité forte dans l?exploitation qu?ils ont mise en place. « C?est profondément un âge sombre quand les structures qu?on a construites pour étendre la sphère de communications sont utilisées contre nous d?une manière systématique et automatique. »

La crise de cette production de vidéo automatisé que YouTube ne parvient pas à endiguer, comme la crise des effets de l?automatisation que l?on croise de partout, de Google à FB, reflète bien sûr une crise cognitive plus large qui est la conséquence même de nos rapports à ces systèmes automatisés. « Sur les réseaux sociaux, toutes les sources ont l?air d?être les mêmes, les titres qui nous poussent à cliquer combinées avec nos biais cognitifs agissent de la même façon que les algorithmes de YouTube. » Pour Bridle, les fausses nouvelles ne sont pas le produit de l?internet. Elles sont le produit de la cupidité et de la démocratisation de la propagande où tout a chacun peut devenir un propagandiste. Elles sont un amplificateur de la division qui existe déjà dans la société, comme les sites conspirationnistes amplifient la schizophrénie. La confusion est l?ami des charlatans. Le bruit leur accessoire. Selon un rapport britannique réalisé un an après le Breixit, plus de 13 000 comptes automatisés ont été identifiés. S?ils tweetaient pour et contre le Brexit, ils étaient 8 fois plus nombreux à soutenir le départ du Royaume-Uni que le contraire. Sur ces 13 000 comptes effacés par Twitter après le référendum, l?origine de la plupart est restée inconnue. 1/5 e des débats en ligne autour de l?élection américaine de 2016 était automatisée. Pour Bridle, quelque chose ne va plus quand ceux qui participent du débat démocratique n?ont pas à répondre de ce qu?ils font, restent intraçables? Leurs motivations et leur origine demeurent complètement opaques, quand bien même leurs effets sont réels.

Et les bots se démultiplient? Nous discutons désormais avec des logiciels. On nous invite à nous socialiser avec des systèmes où il devient de plus en plus impossible de socialiser. Bridle souligne que quand il a publié ses recherches sur les vidéos pour enfants automatisés, il a reçu des milliers de messages de gens qui semblaient savoir d?où provenaient ces vidéos. Les spéculations et explications partaient dans tous les sens. Mais ce qu?il y a de commun avec le Brexit, les élections américaines ou les profondeurs de YouTube, c?est que malgré tous les soupçons, il reste impossible de savoir qui fait ça, qu?elles sont leurs motivations, leurs intentions. On peut regarder sans fin ces flux vidéos, on peut parcourir sans fin les murs de mises à jour de statuts ou de tweets? cela ne permet pas de discerner clairement ce qui est généré algorithmiquement ou ce qui est construit délibérément et soigneusement pour générer des revenus publicitaires. On ne peut pas discerner clairement la fiction paranoïaque, l?action d?États, la propagande du spam? Ces confusions servent les manipulateurs quels qu?ils soient bien sûr, mais cela les dépasse aussi. C?est la manière dont le monde est. Personne ne semble réellement décider de son évolution? « Personne ne veut d?un âge sombre, mais nous le construisons quand même et nous allons devoir y vivre. »

De la violence

Pour Eric Schmidt, ancien CEO de Google, rendre les choses visibles les rend meilleurs et la technologie est l?outil qui permet de rendre les choses visibles. Ce point de vue désormais domine, mais il est non seulement faux, il est activement dangereux, estime Bridle. Pour Smith, si chaque habitant du Rwanda avait eu un Smartphone en 1994, le massacre aurait été impossible. Pourtant, Bridle rappelle que nous étions alertés bien avant ce génocide des risques qui pesaient sur la région. Comme on l?a vu, la surveillance ne permet pas d?agir rétroactivement, pas plus que d?agir au moment présent, elle permet seulement de constater ce qu?il s?est passé. « Le problème n?est pas ce que l?on sait, mais ce que l?on fait ». Pire, pour les chercheurs Jan Pierskalla et Florian Hollenbach, en Afrique en tout cas, l?accroissement de la couverture téléphonique est plutôt lié à de plus hauts niveaux de violence. Ni les images satellites ni les smartphones ne créent de la violence bien sûr. Mais le fait de croire que la technologie est neutre nous maintient dans l?erreur. « L?information est complètement et inextricablement liée à la violence, et l?armement de l?information est accéléré par les technologies qui prétendent renforcer le contrôle sur le monde ».

Si « les données sont le nouvel or noir » (comme l’estimait Clive Humby, un mathématicien britannique en 2006, architecte du programme de fidélité de Tesco), cette comparaison pourrait être acceptable parce que la donnée ne peut pas être utilisée sans être raffinée. Le pétrole doit être transformé pour créer de la valeur, tout comme la donnée doit être analysée. Mais l?analogie de l?exploitation est devenue celle de la spéculation. La donnée est devenue l?or noir sur laquelle tout le monde spécule. Notre soif de données comme notre soit de pétrole est et demeure impérialiste et colonialiste et profondément imbriquée dans l?exploitation capitaliste. La donnée est utilisée pour classer les sujets de l?intention impérialiste, tout comme les sujets des empires étaient forcés à suivre les règles de leurs maîtres. Les Empires d?antan ont transformé leur territoire pour continuer leurs opérations à un niveau infrastructurel. Ils maintiennent leur pouvoir dans les réseaux. Les régimes conduits par les données répètent les politiques racistes, sexistes et oppressives de leurs prédécesseurs parce que leurs biais ont été encodés à leurs racines. L?extraction et le raffinage du pétrole polluent l?air et le sol, tout comme l?extraction et le traitement des données polluent et empoisonnent nos relations sociales. Ils imposent la pensée computationnelle entre nous, renforcent la division de la société du fait de classification bâtarde, du populisme et accélèrent les inégalités. Les données soutiennent et nourrissent des relations de pouvoirs inégalitaires : dans la plupart de nos interactions, la donnée est quelque chose qui semble librement donné, mais qui est en fait extraite sous la contrainte, sans notre consentement explicite. L?extraction est opérée par certains au détriment du plus grand nombre. Et l?exploitation des données risque de continuer indéfiniment, quels que soient les dommages qu?elle cause.

Exploiter plus de données pour construire de meilleurs systèmes est une erreur. Cette méthode ne parviendra pas à prendre en compte la complexité humaine ni à la résoudre. Le développement de l?information n?a pas conduit à une meilleure compréhension du monde, mais au développement de points de vue alternatifs et concurrents. Nous devons changer nos façons de penser comme nous y invitait Lovecraft. Nous ne survivrons pas plus à l?information brute qu?à la bombe atomique. Le nouvel âge sombre est un lieu où le futur devient radicalement incertain et où le passé devient irrévocablement contesté. Mais c?est le présent dans lequel nous devons vivre et penser. Nous ne sommes pas sans pouvoir ni capacités. Mais pour cela nous devons nous défaire des promesses illusoires de la pensée computationnelle. Penser le monde autre, c’est ce à quoi nous invite James Bridle dans le nouvel âge sombre.

*

Ce compte-rendu de lecture excessif, exhaustif, (trop) complet? se veut le reflet de l’importance qu’il me semble devoir apporter à ce livre. James Bridle ne simplifie rien. Il malaxe une pensée complexe, retors. On ne peut pas la réduire à une technocritique facile, peu instruite ou peu informée, comme c?est souvent le cas de gens qui ne sont pas très spécialistes de ces sujets, qui font des raccourcis rapides pour rejeter toute faute sur l?internet ou sur le monde contemporain. Au contraire même. Brille déroule une pensée complexe. Il appuie bien souvent exactement là où la société augmentée du numérique irrite.

Reste à savoir si cet âge sombre des technologies est vraiment notre avenir. L?âge sombre du Moyen Âge n?a jamais vraiment existé ailleurs que dans les lacunes des historiens. On peut douter également de cette nouvelle obscurité ou regretter le titre faussement prophétique. Reste que la complexité et l?intrication du monde que décrit James Bridle, montrent combien il nous faut, plus que jamais, nous défaire justement d?une vision simple et manichéenne de la technologie.

On voudrait que les points que soulève Bridle ne soient pas aussi convaincants. On voudrait qu?il se trompe. On voudrait croire que contrairement à ce qu?il avance, les biais de nos systèmes soient réparables. Qu?on puisse y faire quelque chose. Mais pour cela, il a au moins raison quelque part. Il va nous falloir abandonner notre foi dans la technologie. La limiter. Décider de là où elle est nécessaire ou utile pour agir et de là où nous devons nous en passer. De la limiter. De l?utiliser autrement. Nous risquons bien d?y être contraints par le déchainement du monde et l?épuisement des ressources. Et pour cela, nous devons certainement apprendre à découpler la technologie des intérêts qu’elle sert.

Hubert Guillaud

  • A bientôt !

L’internet aussi prend parfois des vacances. Toutes les équipes d’InternetActu et de la Fing vous souhaitent une bonne déconnexion estivale. Vous allez pouvoir redécouvrir les vertus d’une activité normale, sans trop de technologies.

L’internet aussi prend parfois des vacances. Toutes les équipes d’InternetActu et de la Fing vous souhaitent une bonne déconnexion estivale. Vous allez pouvoir redécouvrir les vertus d’une activité normale, sans trop de technologies.

  • Concrètement, comment rendre les algorithmes responsables et équitables ?

Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d’apprentissage automatisés, le risque, rappelle la chercheuse Kate Crawford (@katecrowford), co-fondatrice de l’AI Now Institute (@AINowInstitute), est que « plutôt que de concevoir des systèmes censés résoudre les problèmes, nous les exacerbions ». La (...)

Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d’apprentissage automatisés, le risque, rappelle la chercheuse Kate Crawford (@katecrowford), co-fondatrice de l’AI Now Institute (@AINowInstitute), est que « plutôt que de concevoir des systèmes censés résoudre les problèmes, nous les exacerbions ». La question à laquelle sont confrontés les ingénieurs consiste à trouver les modalités pour rendre les systèmes techniques plus responsables, plus équitables. Les initiatives en ce sens se multiplient : en mai, le conseil municipal de New York, sous la responsabilité de Carmelyn Malalis, responsable de la Commission sur les droits de l’homme de la ville, a adopté un projet de loi et lancé un groupe de travail sur les biais algorithmiques, rapporte Nature en évoquant également les promesses du président français de rendre le code des algorithmes publics ouvert, ou les appels du gouvernement britannique à rendre les données utilisées par les services publics transparents et responsables, en se dotant d’un cadre éthique des données. Ce cadre éthique rappelle quelques grandes évidences, comme inviter les concepteurs à être clairs sur leurs objectifs, à utiliser les données d’une manière proportionnée aux besoins en cherchant à les minimiser, à en comprendre les limites et à avoir une approche responsable… et complète les principes émis par le Nesta pour améliorer la prise de décision algorithmique . Mais rendre les algorithmes équitables, responsables et efficaces n’est pas si simple. Ces questions ne sont pas nouvelles, rappelle l’article de Nature, mais à mesure que de grands ensembles de données et des modèles plus complexes se répandent, « il devient de plus en plus difficile d’ignorer leurs implications éthiques », explique le spécialiste de la justiciabilité des algorithmes Suresh Venkatasubramanian (@geomblog, blog).

L’article de Nature revient bien sûr sur la difficulté à créer des services algorithmiques responsables en évoquant notamment l’outil de prédiction du risque de maltraitance et d’agression d’enfants développés par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny en Pennsylvanie, qu’avait étrillé le livre de Virginia Eubanks, dont nous avions rendu compte ou les limites des logiciels de police prédictive (dont nous avons également déjà beaucoup parlé). Et rappelle la difficulté à définir mathématiquement l’équité, comme l’a souligné l’informaticien Arvind Narayanan (@random_walker) lors de la dernière édition de la conférence FAT (la conférence annuelle sur l’équité, la responsabilité et la transparence). Outre les biais et déséquilibres statistiques, rappelle David Robinson (@drobinsonian), responsable des associations EqualFuture et Upturn (et qui a notamment publié un rapport sur la question de l’examen public des décisions automatisées (.pdf)), leur impact dépend surtout de la manière dont sont utilisés ces systèmes, avec le risque, que pointait Eubanks, que les plus discriminés soient encore plus surveillés par ces systèmes.

Page d'accueil de l'AI Now Institude

Comment traquer les biais ?

Pour remédier à ces problèmes, beaucoup d’agences américaines ont recours à des chercheurs extérieurs pour déjouer les biais de leurs systèmes. En avril, l’AI Now Institute a défini un cadre (voir le rapport (.pdf)) pour les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique, recommandant notamment de mettre à contribution la communauté de la recherche et de permettre à ceux que le système calcul de faire appel des décisions prises à leur sujet. Ce travail d’évaluation de l’impact algorithmique rappelle que les systèmes de décision automatisés sont déjà nombreux. L’initiative AI Now a appelé à la fin de l’utilisation de systèmes opaques pour les décisions publiques, afin d’assurer l’équité et la régularité des procédures et se prémunir contre la discrimination. Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres. Cela permettrait également aux organismes publics de développer des procédures de médiation, d’appel ou de réfutation des décisions prises. Obliger les systèmes à publier des analyses d’impact de leurs outils de décision automatisé pourrait enfin permettre au public d’évaluer les outils et la transparence des services.

La question de la mesure d’impact avait déjà été pointée par le travail original de Nicholas Diakopoulos (@ndiakopoulos) et Sorelle Friedler (@kdphd) pour Data & Society réalisé en 2016 dont nous avions rendu compte. Le rapport de l’AI Now Institute a depuis tenté de compléter la proposition, mais il demeure difficile de saisir, pratiquement, à quoi pourrait ressembler une déclaration d’impact. Pour cela, le chercheur Andrew Selbst (@aselbst) recommande, dans un de ses articles, de s’inspirer des études d’impact environnementales (voir également les explications sur le site du Ministère de la transition écologique et solidaire), afin de faire établir un rapport sur l’efficacité et le caractère discriminatoire des systèmes automatisés, qui seraient soumis à évaluation publique (ou qui pourrait fonctionner sur le modèle des Analyses d’impact relatives à la protection des données de la Cnil). Bien sûr, Andrew Selbst n’en est pas moins critique sur les études d’impact. Dans le cadre environnemental, ces études s’avèrent longues, coûteuses (jargonneuses) et pas toujours très utiles. Cependant, elles permettent de responsabiliser le producteur de traitement automatisé, d’explorer des alternatives argumentées (et donc de mieux comprendre les options choisies comme celles rejetées) et de mieux expliciter les conséquences des systèmes.

Matrice de déclaration d'impact relative à la protection des données par la CNIL

Mais ce n’est pas la seule piste qui permettrait d’interroger les biais des systèmes automatisés. Microsoft travaille à un outil de détection automatique des biais, Facebook également (notamment via le projet Fairness Flow annoncé par Isabel Kloumann du département d’IA de FB research à la dernière conférence de F8 Conference parmi une longue liste d’outils pour l’IA) rapporte la Technology Review. Accenture a également lancé un outil de ce type. D’autres chercheurs, comme Christo Wilson (@bowlinearl), travaillent à construire des outils pour simuler des systèmes afin d’en découvrir les biais, via des formes de rétro-ingénierie très convaincantes, à l’image de ce qu’il a construit pour comprendre l’algorithme de tarification d’Uber ou du travail réalisé pour comprendre les biais de genre des moteurs de recherche d’emplois. Wilson est notamment responsable d’un groupe de recherche sur l’audit algorithmique créé par le collège d’informatique de l’université Northeastern. En mai, Rayid Ghani (@rayidghani), directeur du Centre pour la Science des données et les politiques publiques de l’université de Chicago a lancé un logiciel open source, Aequitas, pour aider les ingénieurs à auditer leurs modèles.

L'arbre de décision équitable d'Aequitas

La mathématicienne Cathy O’Neil (@mathbabedotorg, blog), qui s’est fait connaître en dénonçant les dangers de ces outils, a lancé une entreprise d’audit algorithmique. Visiblement, souligne Wired, ses premiers clients sont des entreprises qui ont besoin de certifier qu’elles sont équitables : comme cela a été le cas de Rentlogic, une entreprise qui évalue les immeubles automatiquement pour leur attribuer une note, ou comme Pymetrics, une entreprise qui utilise des tests de personnalité pour aider les entreprises à embaucher qui avait besoin d’assurer que ses logiciels n’étaient pas discriminants. L’article de Wired rappelle que s’il n’existe pas de protocole standard pour ces audits réalisés par des entreprises indépendantes, ceux-ci sont rarement altruistes. « Les entreprises peuvent avoir à prouver aux régulateurs que leur technologie ne discrimine pas une catégorie de personnes protégée. Pour d’autres, un audit pourrait empêcher de futurs litiges. Pour d’autres encore, recevoir un sceau d’approbation de la part d’un tiers est un outil marketing, suggérant aux clients potentiels qu’ils peuvent avoir confiance… Quelle que soit la raison, de plus en plus d’entreprises se soumettent à des audits externes, signe qu’ils peuvent devenir la norme ». Mais si l’audit est une pratique courante, ce n’est pas encore le cas de l’audit des systèmes algorithmiques.

Tant et si bien que certains chercheurs et activistes en appellent à un moratoire à l’utilisation d’algorithmes dans certains domaines, comme la justice pénale, à l’exemple du Centre sur la race, l’inégalité et la loi de l’école de droit de l’université de New York.

Comment passer des serments éthiques à leur implémentation concrète ?

Autre réponse aux difficultés actuelles, ces derniers temps, la publication de déclarations éthiques a connu une rare inflation. Google a notamment proposé des objectifs et principes très généraux pour cadrer ses développements en intelligence artificielle. Dans son livre, Weapons of Math Destruction, Cathy O’Neil avait émis l’idée de créer un serment d’Hippocrate pour les datascientists, sous la forme d’un code de conduite édictant quelques principes moraux. Elle soulignait dans une remarquable interview pour Wired, que ce code de conduite n’était certes pas suffisant en soi, notamment parce que les datascientists ne sont pas seuls à décider de ce qui sera implémenté dans les services développés par les entreprises. Pour autant, ces techniciens ne peuvent pas seulement suivre « les recommandations des manuels d’optimisation qu’ils utilisent, sans tenir compte des conséquences plus larges de leur travail ». Cathy O’Neil a proposé une matrice éthique, basée sur les travaux du philosophe Ben Mepham qui l’a utilisé en bioéthique, qui aide à saisir ce sur quoi ce que l’on développe a un impact, et de l’autre ce dont s’inquiète les gens qui sont impactés par ce que l’on développe. Cette grille confronte quelques notions (exactitude, cohérence, partialité, transparence, équité, rapidité) à leur impact sur chacune des parties prenantes. La matrice sert à créer une conversation. Chaque case propose des questions : « qui souffre si le système se trompe ? » Le but est de révéler des problèmes. Quand la réponse pose problème, la case est colorée de rouge.

La matrice éthique de Cathy O'Neil
Image : la matrice éthique de Cathy O’Neil, présentée sur la scène de la Now You Know Conference de mai 2018 à Chicago via Giles Palmer.

Elle propose également de se poser plusieurs questions, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? » Bien souvent, on constate qu’ils fonctionnent beaucoup plus mal que les systèmes précédents. Pour elle, il est également nécessaire de se demander : « pour qui l’algorithme échoue-t-il ? » Un système de reconnaissance facial échoue-t-il plus souvent pour les femmes que pour les hommes, pour les gens de couleurs que pour les blancs, pour les personnes âgées que pour les jeunes ?… Enfin, elle invite à se poser une troisième catégorie de questions : « est-ce que cela fonctionne pour la société (donc à très large échelle) ? Est-ce que nous enregistrons les erreurs du système ? Peut-on les réintroduire dans l’algorithme pour l’améliorer ? Est-ce que le système a des conséquences non intentionnelles ?… » Et la chercheuse de rappeler qu’aucunes de ces questions ne mettent en danger les secrets des algorithmes que les entreprises veulent protéger. Même sur la question de l’audit des algorithmes, explique-t-elle, elles n’ont pas nécessairement besoin de dévoiler leurs algorithmes magiques. Il suffirait d’effectuer des tests avec des données pas nécessairement d’avoir accès au code source de leurs systèmes.

Pour l’instant, Cathy O’Neil a refusé de signer les serments d’Hippocrate pour les datascientists qui lui ont été soumis. Pour elle, trop souvent, ils n’insistent pas assez sur la responsabilité du datascientist.

Bon, cela n’a pas refroidi les initiatives. En février, Tom Simonite pour Wired rapportait les échanges qui avaient lieu lors de la conférence Data For Good Exchange, organisée par DJ Patil, l’ancien datascientist de l’administration Obama, et qui avaient donné lieu à une première liste de principes éthiques (qui a visiblement abouti depuis à ce code de conduite sur l’éthique des pratiques des données). Un des participants est demeuré sceptique : « Le projet de serment ressemble à une liste de principes généraux avec lesquels personne ne serait en désaccord ». Simonite souligne que le milieu ne dispose ni d’autorité ni de législation pour faire respecter des règles de pratique de toute façon. Et si les formations de datascientist se multiplient, nombre de ceux qui font ce travail sont des autodidactes. Dans son long rapport sur l’IA et la société, Microsoft estime que des principes de base pourraient être utiles. « Mais le président de Microsoft, Brad Smith, suggère que l’entreprise ne s’attend pas à ce que les clients qui construisent des systèmes d’intelligence artificielle en utilisant les services d’informatique en nuage de Microsoft répondent nécessairement aux mêmes normes. »

Code de conduite sur l'éthique des données

Le militant pour la protection de la vie privée Aral Balkan (@aral) estime qu’un code d’éthique risque surtout d’être utilisé comme caution de vertu par les entreprises pour continuer à faire comme d’habitude. Appliquer le RGPD aux États-Unis aurait plus d’impact pour prévenir les dommages algorithmiques. Sur son blog, Virginia Eubanks a réagi en proposant plutôt un « serment de non-violence numérique », qui, dans la forme au moins, est plus impliquant pour celui amené à le prononcer que de signer à quelques grands principes vagues. Sur Forbes, Lori Sherer de Bain & Company proposait également de transcrire le serment d’Hippocrate à l’intention des datascientists. Le think tank britannique qui milite pour un internet plus équitable DotEveryOne (@doteveryone) en a recensé des centaines (sous forme de principes, serments, manifestes? voir la liste) et en a proposé un très court. La France n’est pas en reste, rapportait récemment Le Monde : l’association Data for good (@dataforgood_fr) a publié un serment d’Hippocrate pour datascientists et un collectif d’entrepreneurs franco-américains ont publié le serment Holberton-Turing.

Les principes du serment d'Hippocrate de Data for Good

Les deux initiatives s’inspirent du serment d’Hippocrate que les médecins prêtent à la fin de leurs études. Ce rite de passage qui a plus valeur morale que portée juridique (par rapport au code de déontologie par exemple) rappelle aux médecins qu’ils ont des obligations légales, morales et éthiques. Mais, comme l’explique très bien l’écrivain et médecin Martin Winckler (blog, @MartinWinckler) dans l’édifiant Les brutes en blanc (2016), son ouvrage sur la maltraitance médicale, l’éthique n’a cessé d’évoluer. Dans le serment d’Hippocrate originel, il est ainsi interdit aux médecins d’offrir aux femmes la possibilité d’avorter sans que leur mari l’ait décidé. L’éthique se définit toujours par rapport à la morale dominante? rappelle Winckler. Pour lui, le serment d’Hippocrate derrière lequel se cache le corps médical est devenu une barrière à l’évolution des pratiques éthiques (comme de reconsidérer les questions de fin de vie ou de maltraitance). Le serment ne protège pas de la culture propre à chaque discipline, et le prêter ne protège pas de l’asymétrie de la relation entre le médecin et le patient, pas plus qu’elle ne protège de l’asymétrie entre le système de calcul et le calculé. Les règles de conduite ne suffisent pas toujours à créer des repères moraux. Dans son livre, Winckler finalement propose une autre approche qu’il faudrait certainement explorer, en donnant des conseils pratiques aux patients. Est-ce à dire qu’il faudrait plutôt construire des principes pour les calculés plutôt que pour les calculeurs ?

Sur O’Reilly Media, Mike Loukides (@mikeloukides), Hilary Mason (@hmason) et DJ Patil (@dpatil, blog), l’ancien datascientist de l’administration Obama, rappellent que les spécialistes des données n’ont pas attendu les problèmes récents pour se doter de codes d’éthique, à l’image du code d’éthique de l’ACM, l’une des grandes associations du secteur informatique, qui date de 1993, ou celui (.pdf) de l’Association américaine de statistique? Mais l’enjeu demeure de les mettre en pratique. « Tout code d’éthique des données vous indiquera que vous ne devez pas collecter des données de sujets expérimentaux sans leur consentement éclairé. Mais ce code de conduite ne vous dira pas comment implémenter ce consentement éclairé. Or, celui-ci est facile si vous interrogez quelques personnes pour une expérience de psychologie. Mais il signifie quelque chose de bien différent en ligne ». Et ce n’est pas la même chose bien sûr de demander la permission via une fenêtre pop-up par exemple ou que via une case précochée cachée? La mise en oeuvre de principes éthiques englobe des questions qui vont des choix dans l’interface utilisateur aux choix de structuration des données ou d’interrogation des données de connexion. Et pose la question de rendre néanmoins le service utilisable sans dégrader l’expérience utilisateur? L’enjeu consiste à réfléchir « à la mise en oeuvre pratique des principes éthiques », et à partager les meilleures pratiques. Comment par exemple concevoir une expérience utilisateur équitable sans rendre l’application inutilisable ? Faut-il mieux montrer aux utilisateurs une fenêtre pop-up avec des informations juridiques ou guider longuement l’utilisateur dans des explications sur les choix qu’il peut faire (pas sûr que l’un ou l’autre ne soient de bonnes options ni qu’ils ne rencontrent une grande approbation des utilisateurs comme des concepteurs d’ailleurs) ? Comment vérifier que les applications soient équitables si nous décidons de ne plus recourir à des données sensibles ? ? « En tant que technologues, nous partageons fréquemment de bonnes pratiques dans les conférences, sur nos blogs, via les technologies open source que nous développons, mais nous discutons rarement de problèmes tels que comment obtenir un consentement éclairé de l’utilisateur ».

Pour les trois auteurs, il est nécessaire de créer des cultures d’entreprises où l’on peut avoir ces discussions. « Il nous faut réfléchir aux conséquences involontaires produites par ce que nous imaginons ». Cela nécessite de créer ces espaces et ces temps dans les calendriers mêmes des projets. Il est nécessaire également de pouvoir arrêter la chaîne de production en cas de problème, surtout à l’heure du développement agile et du déploiement en temps réel de nouvelles fonctionnalités… L’autre problème, soulignent les auteurs, est bien sûr que les environnements d’entreprises sont souvent hostiles à tout autre chose qu’à la rentabilité à court terme. Si, comme le disait Susan Etlinger, l’éthique est un bon investissement, les changements de la culture d’entreprise, eux, prendront du temps. Reste, rappellent-ils, que les utilisateurs préfèrent s’engager avec des entreprises auxquelles ils peuvent faire confiance pour qu’elles n’en tirent pas un avantage injuste, au détriment de l’utilisateur. Les utilisateurs préféreront traiter avec des entreprises qui les traiteront et traiteront leurs données de manière responsable, et pas seulement pour en tirer un profit à court terme ou un engagement qu’il faut toujours maximiser. Et ces entreprises-là seront celles qui créeront un espace éthique au sein de leurs organisations, pas seulement en engageant des éthiciens, mais en faisant que les datascientists, les ingénieurs, les concepteurs, les spécialistes de l’IA au sein de ces entreprises y travaillent de concert.

la checklist de contrôle du développement de systèmes automatisésDans un autre article pour O’Reilly Media, les 3 mêmes auteurs pointent les limites des serments et déclaration d’intention. On ne les prête qu’une fois et on évalue donc insuffisamment et peu régulièrement si on est à la hauteur des enjeux. Les serments sont très généraux : souvent, ils déclarent ne pas vouloir nuire, mais les médecins eux-mêmes, même en prêtant serment, n’ont pas toujours fait le bien, sans savoir tout le temps qu’ils faisaient du mal au regard des connaissances dont ils disposaient. « Ces principes généraux sont une bonne idée, mais restent vides sur l’exécution, et les systèmes automatisés sont avant tout des questions d’exécution ». Ces principes sont certes importants, mais « ils ne nous amènent pas au point final que nous voulons atteindre. Ils ne relient pas nos idées sur ce qui est bien ou juste aux pratiques qui créent le bien ou la justice. Nous pouvons parler longtemps de l’importance d’être juste et impartial sans savoir comment être juste et impartial. Le serment peut-être finalement dangereux : il devient un outil pour vous convaincre que vous êtes quelqu’un de bien, que vous faites de bonnes choses? quand, en fait, vous ne savez pas. »

Par contre, ces serments et principes sont utiles pour susciter des discussions, pour sensibiliser à ces enjeux, pour comprendre que le travail réalisé n’est pas neutre. D’où leur démultiplication.

Les 3 auteurs s’inspirent de la célèbre liste de contrôle imaginée par le chirurgien Atul Gawande pour réduire les erreurs dans les salles d’opération. « Contrairement aux serments, les cheklists relient le principe à la pratique » En cochant une case sur un formulaire après avoir fait ce que vous deviez faire, vous ne risquez pas de l’oublier. La liste de contrôle n’est pas quelque chose qu’on récite une fois et qu’on oublie, c’est quelque chose que vous travaillez à chaque procédure. Leur efficacité est liée à leur simplicité. Les 3 auteurs sont partis du travail du manuel d’éthique des données du gouvernement britannique pour en proposer une. Elle n’est pas sans faille, mais ils l’a proposent comme une version à améliorer.

Audit, déclaration d’impact social, matrices, checklists? sont autant d’outils pratiques à construire pour rendre les développements logiciels responsables et équitables. Espérons que ces méthodes continuent à se développer.

Hubert Guillaud

Pour rappel, avec la Fing, éditeur d’InternetActu.net, via le groupe de travail NosSystèmes nous avons également établi des principes pour rendre les systèmes techniques plus responsables, qui recoupent en grande partie certains des enjeux esquissés dans cet article. Des méthodes, outils et techniques qui devraient permettre d’améliorer et préciser notre grille de lecture.

  • La méditation en question

On sait tous que de nombreuses entreprises de la Silicon Valley offrent des séances de méditation à leurs employés pour les aider à tenir le choc dans l?environnement complexe et stressant qu’ils doivent gérer. Mais ce n’est peut-être pas une bonne idée… Pour Kathleen Vohs, professeur de marketing à l’université (...)

On sait tous que de nombreuses entreprises de la Silicon Valley offrent des séances de méditation à leurs employés pour les aider à tenir le choc dans l?environnement complexe et stressant qu’ils doivent gérer. Mais ce n’est peut-être pas une bonne idée… Pour Kathleen Vohs, professeur de marketing à l’université du Minnesota, et Andrew C. Hafenbrack (@andyhafenbrack), professeur de comportement organisationnel à l’école de business et économie Catolica-Lisbon, la méditation de type « mindfulness » (pleine conscience) aurait au contraire pour mauvaise conséquence d’abaisser le niveau de motivation des employés. Ils ont publié leurs recherches dans le Journal of Organizational Behavior and Human Decision Processes et les ont résumées dans un article pour le New York Times.

L’équipe a procédé à une série d?expériences de structure classique, impliquant trois groupes, l’un de pratiquants de la méditation, un second qui devait laisser ses pensées vagabonder et un troisième dont les membres devaient lire les actualités ou écrire sur leur journée. Puis on a donné aux sujets une tâche à accomplir comme remplir un mémo, utiliser un traitement de texte, etc. Enfin on leur a donné un questionnaire. Selon les réponses, les « méditants » étaient les moins motivés pour accomplir ce genre de tâche…

Résultat : il semblerait que « la méditation était corrélée avec des pensées réduites sur l’avenir et de plus grands sentiments de calme et de sérénité – des états apparemment peu propices à vouloir s’attaquer à un projet de travail. »

La motivation, mais quelle motivation ?


Voilà pour la motivation, mais qu’en était-il de la performance elle-même ? « Ici, nous avons constaté qu’en moyenne, avoir médité n’a ni profité ni nui à la qualité du travail d’un participant. Ce fut une mauvaise nouvelle pour les partisans de la méditation en milieu de travail : après tout, des études antérieures ont montré que la méditation augmente la concentration mentale, suggérant que ceux qui ont effectué l’exercice de pleine conscience auraient mieux exécuté leur tâche. Leur niveau de motivation plus bas semblait toutefois annuler cet avantage. »

Les chercheurs ont ensuite cherché à savoir si octroyer une récompense pour de très bonnes performances serait susceptible d?accroire la motivation des méditants. Apparemment cela n’a pas eu d’effet. Pour les deux auteurs, la méditation s?apparenterait donc à une sieste : bénéfique, reposante, mais « qui en se réveillant d’une sieste, serait pressé d’organiser ses fichiers ? ».

Présenté comme cela, cela implique qu?effectivement, l’usage de la méditation n’est pas forcément positif. Mais j’avoue avoir une petite préférence pour la manière dont Boing Boing a présenté cette étude, et qui a le mérite, à mon avis, de frapper là où ça fait mal : « Les employés qui pratiquent la méditation pleine conscience sont moins motivés, ayant réalisé la futilité de leur travail ».

Enfin, une petite note supplémentaire : qu’est-ce qu’un pratiquant de la « méditation » ? L’article du New York Times nous explique que « certains des participants à nos études ont été formés à quelques-unes des techniques de méditation de pleine conscience les plus courantes. Un coach professionnel de méditation leur a demandé de se concentrer sur leur respiration ou de scanner mentalement leur corps à la recherche de sensations physiques, en leur rappelant doucement qu’il n’y avait pas de bonne ou de mauvaise façon de faire l’exercice. »

Autrement dit, l’expérience a fait appel à des débutants, plutôt qu’à des moines zen ! Quant au fait de dire qu’il n’y a pas de bonne ou mauvaise façon de faire l’exercice, ça se discute. Il n’y a qu’à lire les manuels de méditation bouddhistes des diverses obédiences, qu’ils soient d?Asie du Sud-Est, du Tibet ou issus du Zen, pour se rendre compte que oui, il y a apparemment de bonnes et mauvaises manières de pratiquer la méditation.

La méditation augmente-t-elle notre compassion ?


La psychologue Ute Kreplin, elle, s’est demandé dans Aeon si la méditation pouvait « participer à la création d’un monde meilleur », autrement dit, si, comme l’affirment ses adeptes, elle développe les sentiments d’empathie et de respect pour les autres humains.

Pour ce faire elle n’a pas réalisé d?expérience spécifique, mais a conduit une méta-analyse. Autrement dit, elle a examiné la littérature sur le sujet et comparé 20 expériences. Elle a bien sûr étudié les travaux sur la « méditation pleine conscience », mais, en accord avec son sujet, s’est intéressée aussi à une forme de méditation très appréciée aussi en occident, la méditation « loving-kindness » – « amour et compassion » -, qui consiste à se concentrer sur des sentiments positifs envers autrui.

Effectuer une méta-analyse n’est pas simple, car toutes les expériences ne suivent pas exactement le même protocole ni ne sont centrées sur exactement la même question… Ainsi, explique-t-elle, une des études consistait à enjoindre les méditants à se concentrer sur leur respiration, tandis que le groupe contrôle s’impliquait dans une discussion hebdomadaire sur les bienfaits de la compassion. Dans une autre recherche, continue-t-elle, le groupe actif pratiquait une forme de relaxation, en écoutant une bande audio parlant de la respiration, tandis que le groupe contrôle, lui, se contentait d’attendre dans la pièce à côté…

Pour contrôler le degré de compassion, explique-t-elle encore, certaines études se contentaient d’utiliser des questionnaires, tandis que d’autres cherchaient à mesurer le gain en empathie, par exemple en observant si les sujets avaient plus tendance à céder leur place assise dans une salle d’attente pleine.

Apparemment, les résultats de la méta-analyse furent plutôt positifs. Les chiffres semblaient bien indiquer une augmentation légère, mais réelle de la qualité du comportement social. Mais Ute Kreplin ne s’est pas arrêtée là. Elle a examiné comment chaque étude avait été menée. Son travail nous montre les difficultés de la recherche non seulement sur la méditation, mais en psychologie tout court.

Elle s’est ainsi interrogée sur les fameux « groupes contrôle ». Lorsqu’on effectue une recherche médicale, il est facile de définir un groupe contrôle : on donne à ses membres un placebo, ce qui permet de comparer aisément avec les effets de la molécule ingérée par les membres du groupe « actif ». Mais qu’est-ce qu’un placebo en psychologie ? Existe-t-il une méditation placebo ? Comme on l’a vu, plus haut, selon les études, les groupes contrôles pouvaient se voir confier diverses activités très variées. Et selon l’activité du groupe contrôle, les résultats pouvaient être très différents. Ainsi, si ce dernier se contentait d’attendre dans une pièce alors que leurs partenaires pratiquaient la « loving-kindness » pendant 8 semaines, les résultats étaient positifs. Mais dans l?expérience où le groupe contrôle devait s’engager dans des discussions sur la compassion, on n’observait aucune corrélation significative… Alors, se demande Ute Kreplin : A-t-on réellement établi le bénéfice de la méditation, ou cela est-il simplement la preuve « qu’il vaut mieux faire quelque chose plutôt que rien » ?

Autre problème, le biais de l’expérimentateur. Dans les recherches les plus rigoureuses en médecine, on utilise ce qu’on appelle le « double aveugle ». Non seulement les sujets ne savent pas ce qu’ils prennent, mais l?expérimentateur l?ignore aussi. Ute Kreplin s’est demandée si, dans les expériences qu’elle a étudiées, l’instructeur de méditation était l’un des auteurs, voire le principal auteur de l?étude en question. Et elle est arrivée au chiffre impressionnant de 48 %. Et bien évidemment, on ne peut que soupçonner la possibilité que l’enthousiasme du chercheur ait été involontairement communiqué aux sujets. L’affaire devient encore plus ennuyeuse lorsque la chercheuse à découvert que c?était dans ces cas, et uniquement dans ces cas, que la compassion semblait connaître une augmentation chez les participants. Lorsque l?expérimentateur était différent de l’instructeur (ou lorsque cet instructeur était une simple bande audio), on ne constatait aucun changement.

Dernier souci, le biais de confirmation. Les chercheurs auraient tendance, une fois terminée l?expérience, à surévaluer nettement les résultats, donnant une signification trop importante à des écarts de statistiques négligeables.

Dans le reste de son essai pour Aeon, Ute Kreplin mentionne les cas où la méditation a entraîné des attaques de panique, de la dépression, voire des épisodes psychotiques. Nul besoin de paniquer (c’est quand même assez rare), mais la psychologue en profite pour rappeler ce que les bouddhistes ont toujours dit de la méditation : son but n’est pas de calmer l’esprit, mais au contraire de remettre en cause la nature même de notre individualité. Et cela n’est pas sans risque, évidemment.

En attendant, que nous montrent ces études ? Certes pas que la méditation est inutile ou inefficace. Plutôt qu’il s’agit d’un phénomène complexe qui engage l’ensemble de la personnalité d’un individu, et non une pilule dont les effets seraient clairs et définis. Et peut-être aussi qu’il faut cesser de faire des études sur des débutants alors que cette pratique demande des années de discipline quotidienne !

Rémi Sussan

  • Peut-on rendre le ciblage psychologique productif ?

Sur la scène des conférences USI, intervenait notamment Sandra Matz, spécialiste de l’étude marketing des caractéristiques psychologiques via le Big Data. Le scandale Cambridge Analytica a mis en lumière le rôle du profilage psychologique. Peut-être pas d’une manière très valorisante, semble regretter Sandra Matz. Si elle ne souhaite pas parler (...)

Sur la scène des conférences USI, intervenait notamment Sandra Matz, spécialiste de l’étude marketing des caractéristiques psychologiques via le Big Data.

Le scandale Cambridge Analytica a mis en lumière le rôle du profilage psychologique. Peut-être pas d’une manière très valorisante, semble regretter Sandra Matz. Si elle ne souhaite pas parler de ce que fait ou n’a pas fait Cambridge Analytica, force est de constater que Sandra Matz travaille elle aussi comme la firme britannique, à rendre productif le profilage psychologique. Et c’est ce qu’elle souhaite expliquer sur la scène d’USI (voir la vidéo de son intervention) : Comment ça fonctionne ? Qu’est-ce que ça produit ? Et surtout, regarder si ce profilage est réellement efficace : « peut-on réellement influencer les gens avec ces techniques ? » « Quels sont les défis et les opportunités du ciblage et du profilage psychologique ? »


Image : Sandra Matz sur la scène des conférences USI, via USIevents.

Comment réalise-t-on des modèles psychologiques ?

Que signifie la personnalité pour des psychologues ? Nous différons en terme d’apparence et de caractère. Chez les philosophes grecs déjà, nos tempéraments (ce que nous appelons aujourd’hui la personnalité) étaient déterminés par un équilibre interne complexe d’humeurs, explique-t-elle rapidement. « Aujourd’hui, ce que les psychologues appellent la personnalité capture les différences fondamentales quant aux façons dont nous pensons, nous ressentons ou nous nous comportons. La personnalité n’est donc pas seulement un état émotionnel contextuel, mais consiste d’abord à définir un état relativement stable, des tendances et des préférences qui définissent chaque individu et qui les distingue les uns des autres. S’il existe différents systèmes ou cadres d’analyses psychologiques des personnalités, un modèle est devenu plus populaire que les autres : le modèle des Big Five. » Ce modèle estime qu’il y a 5 grands traits de personnalités qui captureraient nos différences cognitives et comportementales, à savoir l’ouverture à l’expérience (c’est-à-dire la curiosité), la « conscienciosité (c’est-à-dire le fait d’être organisé), l’extraversion (c’est-à-dire le fait de chercher la stimulation et la compagnie des autres), l’agréabilité (le fait d’être compatissant et coopératif) et le névrosisme (le fait d’éprouver facilement des émotions désagréables). Ces modèles, notamment le Big Five, partent d’une analyse lexicale du langage. À l’origine, dans leur article de 1936, les psychologues Gordon Allport et Henry Odbert ont analysé le dictionnaire anglais pour en extraire des milliers de termes et adjectifs utilisés pour décrire la personnalité ou le comportement et ont utilisés des méthodes statistiques pour les associer les uns aux autres. Ce modèle est effectivement l’un des modèles les plus utilisés aujourd’hui par la recherche en psychologie pour l’analyse de données. Il se présente sous la forme de tests de personnalité où les gens doivent autoévaluer des affirmations pour voir si elles leur correspondent au pas. C’est donc un modèle déclaratif. Ainsi pour mesurer l’extraversion par exemple, on donne aux gens l’affirmation suivante : « Je parle à beaucoup de gens lors de soirées » et on capture le degré avec lequel les gens sont d’accord avec cette affirmation (sur le mode de 5 choix, allant de tout à fait d’accord à fortement en désaccord – à l’exemple des tests psychologiques que vous pouvez réaliser sur le Centre de psychométrie de l’université de Cambridge.


Image : exemple de questions et de modalités de réponses d’un des innombrables tests de personnalités que l’on trouve en ligne.

Pour la chercheuse, si ces questionnaires, qui demandent 10 à 30 minutes pour être complétés, fonctionnent bien dans le contexte de la recherche, ils éprouvent leurs limites dans le domaine du marketing numérique ou de la persuasion de masse, notamment parce qu’il faut un peu de temps pour que les personnes les remplissent. Si on peut demander à des participants volontaires de remplir ces tests, on ne peut pas le demander à des millions d’internautes. Le travail de profilage consiste donc à parvenir à évaluer la personnalité des gens, sans leur demander de remplir ces tests. Pour cela, on les remplace par l’analyse de leurs traces, comme les contenus qu’ils partagent sur FB ou les likes qu’ils déposent sur les contenus, les musiques qu’ils écoutent ou les vidéos qu’ils regardent? (qu’on compare à l’analyse des traces d’un groupe témoin à qui on a fait passer le test et auquel on a associé des contenus, oublie d’expliquer Sandra Matz. On analyse des comportements depuis des profils témoins qu’on applique ensuite aux autres profils par inférence).

Prenons le temps d’expliquer plus précisément que ne le fait Sandra Matz sur la scène d’USI, comment se fait cette association.

Pour faire de l?analyse massive, vous avez besoin d?un côté des données d?utilisateurs et de l?autre d?un test. Le croisement des deux permet de créer des  modèles qui pourront être massivement appliqués à tous les autres utilisateurs. Un simple test psychologique qui semble amusant de prime abord permet de définir des caractéristiques psychologiques d?utilisateurs. En comparant ces profils à d?autres données, comme celles de leurs interactions sur Facebook ou le type de données qu?ils partagent, celles de leurs tweets ou celles de leurs usages de leurs téléphones mobiles, il est possible de produire des indicateurs significatifs, et de lier par exemple une action (le temps mis à répondre à un message, à un appel téléphonique ou votre régularité à ces appels et messages) à un type de profil psychologique.

Une fois ces modèles établis, on peut analyser n?importe quelles données pour les faire correspondre à ces prédicats. On peut ainsi prédire votre profil psychologique à partir de l?usage de votre téléphone qu?enregistre votre opérateur ou des applications mouchardes qu?il héberge. Depuis la diversité des contacts, votre régularité à entrer en relation avec eux? on peut donc déduire des informations psychologiques que les services marketing pourront exploiter. C?est pour cela que nombre d?applications tentent d?avoir accès à des informations dont elles n?ont pas besoin pour fonctionner et qu?une simple application qui transforme le flash de votre smartphone en lampe de poche récupère vos listes de contacts, vos SMS, vos informations de localisation? Autant de données qu?il sera possible de faire parler et de vendre à des agences spécialisées.

Le scandale Cambridge Analytica est entièrement construit sur un tel système : avec une application pour Facebook qui apparaissait comme un jeu (« this is your digital life ») qui s?appuyait sur un questionnaire permettant de réaliser le test et qui dans le même temps permet de récupérer les données des utilisateurs, comme des informations sur les gens avec qui ils sont en contacts ainsi que des informations sur eux-mêmes. Des données au final de quelque 50 millions d?utilisateurs qui ont permis à la firme britannique de construire des profils psychologiques et politiques permettant de les appliquer à d’autres profils, de cibler les utilisateurs avec des publicités convaincantes ou d?effectuer des simulations de participation électorales, etc.

Le Big data, couplé à des systèmes d?apprentissage automatisé (Machine Learning), permet de déterminer des modèles et des critères optimum. De mettre en avant des comportements et des analyses, à l’image du correcteur comportemental Crystal Knows dont nous vous avions déjà parlé qui établit des modèles psychologiques de vos correspondants et vous invite à corriger vos e-mails depuis cette analyse pour mieux vous adresser à eux.

Ces traces disent beaucoup des habitudes et des préférences des gens tant et si bien qu’il est inutile de savoir s’ils sont extravertis ou pas, il suffit de regarder leurs activités sur les réseaux sociaux et traduire ces données via des algorithmes en données et profils psychologiques significatifs, explique Sandra Matz. Sur la scène d’USI, elle montre des nuages de mots corrélés à quelques-uns des 5 grands types de profil. Ces nuages ne montrent pas tant des fréquences d’utilisation de mots clefs, que l’usage de certains mots a plus tendance à vous classer dans une catégorie qu’une autre. Ainsi les extravertis ont tendance à parler de soirée, d’impatience… de ce qu’ils font avec les autres, alors que les introvertis par exemple parlent plutôt de manga et d’ordinateurs? de choses qu’ils font par eux-mêmes. Pour Sandra Matz, cela ne se base nécessairement pas sur des algorithmes compliqués que sur une classification et un comptage de mots, explique-t-elle en continuant de montrer des nuages de mots selon de grands types de profil, qui donnent l’impression d’avoir à faire à des gens très différents les uns des autres par les mots mêmes qu’ils emploient. De même, on peut appliquer ces classements aux likes que les gens déposent sur les contenus? Ainsi, les gens qui ont tendance à être névrosés ont tendance par exemple à mettre des likes sur des expressions comme « Parfois, je me déteste » ou « je suis tellement content » ou à apprécier Kurt Cobain, alors que les personnes stables vont apprécier des contenus relatifs à l’administration des affaires, au Parkour, à comment gagner de l’argent? Le profilage psychologique permet ainsi de relier des contenus et leur vocabulaire à des types de profils.


Image : les nuages de mots relatifs aux extravertis et aux introvertis, présentés par Sandra Matz sur la scène d’USI, via @jordanvid.

La question de fond, estime Matz, reste de savoir si ces systèmes peuvent prédire la personnalité de quelqu’un. Le modèle Big Five reste essentiellement subjectif. L’enjeu est de comparer la prédiction réalisée par la machine à la perception de soi de la personne. Pour cela, Matz et ses équipes ont testé la prédiction psychologique en demandant à des gens et à leurs proches de remplir des questionnaires de personnalité et l’ont comparé à l’étude de contenu pour en analyser la précision. Et Matz d’expliquer qu’il suffit ainsi de 10 likes pour que le modèle soit aussi précis qu’un collègue, de 65 likes pour qu’il soit aussi précis qu’un ami et de 120 likes pour qu’il soit aussi précis que quelqu’un de votre famille et qu’il en faut 300 pour le comparer à votre compagnon. Pour Matz, ces comparaisons montrent combien une prédiction psychologique automatisée peut s’avérer précise et fiable. Il est donc possible de cibler psychologiquement les gens, non seulement en fonction de leur âge ou d’autres données déclaratives, mais également selon leurs grandes tendances psychologiques, comme le fait qu’ils soient plutôt extravertis ou introvertis.

Le profilage psychologique marche-t-il vraiment ?

Reste que ces tendances ne ciblent pas tant des individus uniques que des grandes tendances psychologiques (des profils auxquels nous sommes associés). En ciblant des goûts associés à l’extraversion par exemple, il devient possible d’adresser collectivement des gens qui aiment se socialiser à d’autres, plus que la moyenne. « Est-ce pour autant efficace ? », interroge Matz. Pouvons-nous depuis ces informations influer réellement sur ce que les gens cliquent ou achètent ? En fait, explique-t-elle, « nous pouvons faire correspondre le contenu que nous montrons aux gens au profil psychologique que nous avons inféré d’une manière qui augmente la probabilité qu’ils s’engagent avec ces contenus ». Et la chercheuse d’évoquer certaines de ses recherches, notamment associées à la promotion d’un jeu depuis une campagne publicitaire sur FB. L’enjeu était de promouvoir deux jeux, un simple jeu de casse-brique, qui s’adresse donc plutôt à des gens introvertis et un jeu de dé qui se joue avec des amis, qui s’adresse donc plutôt à des gens extravertis. On a créé des publicités pour FB dédiées, qui ont reçu en une semaine plus de 400 000 vues, 4000 clics qui ont donné lieu à 272 installations des jeux. En fait, les annonces qui correspondaient aux profils cibles réussissaient 8 fois plus que celles qui étaient adressées aux mauvais profils. Un résultat qui n’est pas anodin. Les gens ont 8 fois plus tendance à installer ou télécharger votre produit, quand il y a concordance entre celui-ci et la tendance psychologique des profils. Ces résultats peuvent paraître effrayants, constate Sandra Matz : les gens ne souhaitent pas être manipulés ainsi. Ils veulent pouvoir faire leurs propres décisions?

Reste qu’il faut remettre les choses en perspectives, tempère Matz. Il y a 500 millions de produits sur Amazon, des milliards de pages indexées par Google, des millions d’heures de vidéo sur YouTube? tant et si bien qu’il nous faudrait 1000 vies pour en regarder tout le contenu. « Nous avons besoin de mécanismes pour filtrer le contenu et aider les gens à trouver ce qu’ils cherchent ». C’est ce que nous appelons le paradoxe du choix : trop de choix tue notre capacité à décider et nous rend moins satisfaits. Pour Matz, cette abondance justifie le besoin de filtres et pour elle, les filtres psychologiques sont particulièrement bénéfiques aux utilisateurs. Reste que sur cette planche glissante, Matz prévient : l’appariement de produits, comme dans le cas de ces 2 jeux, fonctionnait bien, car les 2 produits étaient clairement distincts? Mais la plupart des produits sont bien plus neutres, bien moins distincts et s’appliquent bien moins à une distinction psychologique. Les formules d’abonnement à un forfait mobile par exemple sont plus difficiles à caractériser. D’où l’enjeu du marketing à adapter ses messages psychologiquement, explique-t-elle. Ici, l’enjeu n’est pas de disposer de produits psychologiquement clivants, mais d’adapter les messages d’accroches aux grands types de profils d’utilisateurs. Sandra Matz et ses équipes ont donc réalisé un autre test, avec une publicité pour un même produit à destination d’un public extraverti et une autre à destination d’un public introverti. La publicité a été vu 3 millions de fois, a généré 10 000 clics et 500 achats. L’appariement publicitaire était environ 1,5 fois plus efficace avec les profils correspondants. L’effet est beaucoup plus modeste que précédemment, concède la spécialiste, certainement parce que le produit, lui, ne matche pas avec les profils, mais il reste néanmoins significatif.

Et Sandra Matz d’évoquer DataSine, une entreprise avec laquelle elle a travaillé qui justement est capable d’adapter les messages selon différents grands types de profils clients et de proposer, selon les profils, d’adapter les messages avec des mots-clefs relatifs aux profils (voir notamment cette présentation vidéo de DataSine qui montre l’interface pour écrire des messages adaptés et qui suggère de remplacer les mots des messages ou les images selon les profils visés).


Image : l’interface de rédaction de DataSine qui propose des suggestions de termes pour adapter les messages en fonction du profil psychologique ciblé.

Ciblage psychologique : arme de manipulation massive ?

Reste à savoir jusqu’où ces systèmes sont efficaces. « Pourrait-on par exemple imaginer vraiment influencer le comportement de quelqu’un, le faire changer d’avis de façon spectaculaire par ces méthodes, comme de retourner un électeur convaincu d’Hillary Clinton en supporter de Trump ? » La réponse est non, affirme Sandra Matz. « Mais ce non, ne signifie pas que ces techniques ne sont pas efficaces ni que nous ne devrions pas nous inquiéter de l’amélioration à venir de ces techniques, car bien souvent les gens sont plus indécis que convaincus, et il suffit de peu de chose pour les faire changer d’avis. »

Le ciblage psychologie est-il une arme de destruction massive ou un catalyseur pour le bien social ?, interroge Sandra Matz. Pour certains, c’est un outil de manipulation des gens qui menace la démocratie, à l’exemple de Cambridge Analytica. Reste que pour Sandra Matz, le ciblage psychologique n’est pas mauvais en soi, défend-elle, mais certains de ses usages peuvent l’être. Si Hillary Clinton par exemple avait utilisé le ciblage psychologique non pas pour décourager les gens de voter, mais pour mieux communiquer avec eux, sur la base de ce qu’ils apprécient, pour leur parler selon leurs profils afin de les amener à s’engager en politique, elle aurait certainement été célébrée comme Obama l’a été pour le ciblage de ses supporters lors de la campagne de 2008. « Oui, le ciblage psychologique peut-être une menace contre la démocratie, mais il peut aussi être une solution pour amener plus de gens à s’engager? »

Pour défendre son point de vue, Sandra Matz convoque un dernier exemple, en rappelant, comme le soulignait Dan Ariely, que les gens ne sont pas très bons pour prendre des décisions qui leur profitent à long terme. Le ciblage psychologique peut nous aider à faire des choix, comme nous aider à choisir un fruit plutôt qu’un gâteau. Il peut aider les gens à prendre de meilleures décisions et à suivre leurs intentions. Elle explique qu’elle travaille actuellement sur l’épargne pour aider les gens à économiser de l’argent, en distinguant par exemple les objectifs selon des profils psychologiques afin que les messages soient plus adaptés. Nous pourrons demain adapter bien d’autres domaines à la psychologie des gens, à leurs personnalités, comme le travail ou l’éducation? Matz travaille par exemple à détecter les premiers signes de la dépression depuis des smartphones afin de pouvoir aider des gens qui ne sont pas en posture de le faire.

Pour Matz, le ciblage psychologique en est à ses débuts. Demain, nous tenterons de prédire bien d’autres choses depuis les profils que les seules personnalités : les valeurs, l’intelligence, les styles cognitifs, les humeurs? et même peut-être directement depuis les visages, leurs expressions et réactions, explique-t-elle avant de s’emballer jusqu’aux implants neuronaux qui permettront de nous dire ce que nous pensons, prévoyons en temps réel? « En tant que chercheur, je trouve ça très excitant, mais en tant que personne, je trouve ça très inquiétant? », concède-t-elle sur un mode schizophrénique. « Comme le disait l’oncle de Peter Parker : « avec de grands pouvoirs viennent de grandes responsabilités ». « Nous allons pouvoir comprendre la psychologie humaine bien mieux et à un niveau que nous n’avons jamais atteint », s’enthousiasme la psychologue. Pourtant, rappelle-t-elle, les psychologues travaillent avec le consentement de leurs patients. Les chercheurs en psychologie doivent dire aux participants quel type de données ils collectent, pour quoi faire. Il ne faudrait pas qu’on oublie les valeurs des pratiques de la psychologie. « C’est en étant responsables que nous transformerons le ciblage psychologique en catalyseur du bien social ».

Reste à savoir si ces pratiques relèvent plus de la psychologie que du marketing. C’est certainement dans ce flou que se produisent les bascules réductionnistes de l’analyse psychologique automatisée.

La psychologie, c’est un peu plus compliqué !

L’artiste, chercheur et psychologue Alexandre Saint-Jevin n’était pas convié à intervenir sur la scène d’USI, mais nous avions envie de remettre les propos de Sandra Matz en perspective, de comprendre un peu mieux les limites de ces modélisations psychologiques.

« La psychologie n’est pas une discipline uniforme », nous rappelle Alexandre Saint-Jevin. Les tests de type Big Five s’inscrivent dans ce qu’on appelle la psychologie différentielle, c’est-à-dire l’étude des différences psychologiques entre les individus par les statistiques, qui étudie à la fois la variabilité entre les individus, entre les groupes et la variabilité intra-individuelle.

Elle naît avec Francis Galton qui cherche à étudier les capacités intellectuelles humaines, afin de démontrer qu’elles sont héritables, c’est-à-dire qu’elles relèvent de la génétique et, partant de là, de favoriser l’évolution intellectuelle de l’espèce par la sélection, qui va donner naissance à rien de moins que l’eugénisme. Il est l’un des premiers à utiliser le questionnaire comme méthode pour étudier les différences de comportement. Il a également recours à l’étude des jumeaux homozygotes élevés séparément et de jumeaux hétérozygotes élevés ensemble pour mesurer les écarts d’intelligence et montrer que l’intelligence serait biologique plus que culturelle. Son protégé et biographe, Karl Pearson ajoutera une troisième méthode, toujours utilisée elle aussi, le coefficient de corrélation, qui associe des variables entre elles. Ce sont là les trois éléments de base des études différentielles.

Ce qu’on appelle généralement les Big Five sont un ensemble de tests psychométriques qui inventorient plusieurs facteurs de personnalités, parmi lesquels ont trouve le Big Five Inventory, le Neo Pi-R, le MBTI… En fait, on désigne sous l’expression de Big Five une multitude de tests qui ne fonctionnent pas exactement de la même façon. Ils reposent le plus souvent sur une hypothèse lexicale : les caractéristiques psychologiques « pertinentes » d’une personnalité seraient présentent dans le langage naturel qu’on classe par rapprochement. En gros, ce sont des études de texte, de langage, où chaque mot est corrélé à une signification. Effectivement, dans leur article fondateur, les psychologues Gordon Allport et Henry Odbert, ont analysé les termes relatifs à la personnalité dans un dictionnaire. Ils en ont relevé 18000 qu’ils ont classé en 4500 traits de personnalité, définis comme des déterminants stables de la personnalité. Dans les années 50, R. B. Cattell réduit ces traits à 35 variables pour produire 12 facteurs de personnalité en utilisation des corrélations statistiques donc des moyennes statistiques. À partir du premier test qu’il met en place, le 16PF, les chercheurs vont continuer à réduire le nombre de facteurs jusqu’à obtenir les 5 grands traits de personnalité des Big Five, qui ne sont donc rien d’autre que des ensembles d’adjectifs pour caractériser différents types de personnalités. L. R. Goldberg va créer les tests à 7 puis 5 facteurs : chaque grand facteur étant censé représenter le plus haut niveau d’abstraction de la personnalité, dont chacune englobe un grand nombre de caractéristiques distinctes et spécifiques. La démonstration de Goldberg est surtout mathématique : il souligne qu’au-dessus de 5 critères, les différences seraient négligeables d’un point de vue statistique. On a donc là un long cheminement d’analyse de vocabulaire et de réductionnisme statistique, nous rappelle Alexandre Saint-Jevin. Mais ce ne sont pas leurs seuls biais.

À l’origine, ces tests sont le résultat d’une auto-évaluation : l’individu renseigne des questions où il exprime ce qu’il pense de sa personnalité. Pour limiter les biais déclaratifs, les protocoles ont mis en place des évaluations conjointes par des gens qui connaissent la personne. Or, les études ont montré que ces contre-résultats ne donnaient pas toujours de bons résultats. La perception qu’on a de sa personnalité ne correspond pas toujours à celle que les proches en donnent.

En fait, le succès des Big Five, permet surtout de comprendre le succès de ces tests de personnalité basés sur l’analyse du langage. « On peut facilement en construire des modèles informatiques depuis les répertoires d’adjectifs, comme le fait depuis longtemps le traitement automatique du langage. Ces tests se prêtent bien plus à la programmation que d’autres, ce qui permet de rendre l’analyse lexicale applicable via un traitement statistique. » Or, rappelle le psychologue clinicien : le problème est que ces tests ne démontrent rien au niveau psychopathologique. Ils ne nous disent pas si une personne à telle ou telle pathologie. Le problème est qu’on a établi des corrélations entre des tests de personnalité et des tests diagnostics. Ainsi quelqu’un diagnostiqué par exemple comme ayant un trouble de la personnalité limite (TPL) aura statistiquement au niveau de la personnalité un fort névrosisme et une ouverture faible. Le risque alors est de considérer qu’une personnalité de ce type soit également quelqu’un ayant un TPL. Le risque est bien de prendre au final des  rapprochements statistiques, des corrélations, pour des diagnostics médicaux !, prévient Alexandre Saint-Jevin.

L’autre problème de ces tests de personnalité, c’est qu’ils sont dénués de contexte. Ils obligent le sujet à se baser sur une représentation de soi, hors contexte. À la question, de savoir si je me vois comme quelqu’un de bavard, il n’y a pas de contexte associé. Est-ce maintenant ? En général ? Pour Allport, les questions se rapportent à un état dit « stable », hors situation particulière… mais que veut dire être tout le temps bavard ?

En fait, même les tenants de la psychologie différentielle ne sont pas d’accord entre eux. Pour certains, la personnalité déterminerait les réactions, mais pour d’autres, c’est la situation qui déterminerait les réactions. D’où la naissance de tests de personnalité qui ne reposent pas sur des grandes affirmations, mais proposent des réactions en situation. Les psychologues ont recours ainsi à une multitude de tests de personnalité, à l’image de ceux proposés par l’éditeur Hogrefe. Nombreux sont conçus pour des milieux différents, à l’image du test MBTI, très utilisé dans le milieu des relations humaines et du management. Très utilisée, sa fiabilité a pourtant été très discutée. À la différence du test des Big Five, il ne repose pas sur une analyse lexicale, ce qui explique qu’il soit moins utilisé en informatique? car il ne permet pas aussi facilement de rendre des contenus textuels productifs.

D’autres tests existent encore, comme le fameux test de Rorschach où l’on demande de mettre des mots sur des images. On sait en faire un traitement statistique d’ailleurs, car on sait que beaucoup de gens voient telle ou telle chose dans telle planche? et quand une personne donne les réponses les plus courantes, on le diagnostic d’ailleurs comme normopathe. S’il n’y pas de réponse attendue à ce type de test, on connait l’ampleur des réponses possibles par la pratique et ont peut donc les coder.

Mais le grand problème des tests de personnalité, estime Alexandre Saint-Jevin, « c’est qu’ils enferment les personnes dans des catégories ». C’est un peu l’inverse de la psychanalyse, qui tente de faire verbaliser les éléments de personnalité. La psychanalyse relève d’une co-construction avec la personne qu’on ne retrouve pas du tout dans ces tests. Dernier problème : chacun d’entre nous est sommé d’entrer dans ces agencements signifiants. Là, on nous fait entrer dans des comportements auxquels on doit se conformer pour être. Le risque bien sûr, consiste surtout dans des dérives, des associations, des modalités qui font par exemple qu’on va utiliser l’analyse lexicale de tweets ou de SMS pour déterminer automatiquement une possible pathologie.

Enfin, bien sûr, l’une des grandes dérives de ces systèmes repose sur le fait qu’on fasse passer le test aux gens sans qu’ils le sachent, on analyse leurs corpus par-devers eux et on en déduit des traits de personnalité qu’on va rendre productifs en applicants ce qu’on en a appris aux contenus générés par des milliers d’autres personnes. Or en psychologie, tout test nécessite le consentement de la personne qui le passe. « Le psychologue n’a pas pour fonction de trouver des éléments de personnalité dont la personne n’a pas conscience, mais au contraire d’amener la personne à les trouver. » Ici, la mise en production psychologique produit des inférences que l’utilisateur ne voit pas. La dérive marketing du profilage psychologique est à l’inverse du rôle du psychologue.

Autre problème encore, ces tests fonctionnent par inférence. On crée des liens entre des notions sans les établir, en croisant des tests entre eux. On estime par exemple que ceux qui ont tendance à être organisés vont aimer l’environnement. Mais c’est un lien qu’on établit sans étude et qui enferme des gens dans des catégories. « Ces tests imaginent aussi l’individu comme un être rationnel, en faisant par corrélation des liens de cause à effets. Or, comme le rappelle la théorie des jeux, on sait que nous sommes bien moins rationnels que ne le montrent ces tests. Ces tests qui s’emmêlent créent des raccourcis sur la base de si quelqu’un a tel trait de personnalité, il aura tendance à aimer cela plutôt que cela. Or, on oublie de voir que nous sommes bien moins cohérents que ne le disent ces tests. La cohérence n’est pas notre fort ! » Or, on est face à des systèmes qui, par la corrélation, tentent de trouver des cohérences partout. « Bien souvent, ils mettent en cohérence des choses qui n’ont rien voir. C’est la critique qu’Hannah Arendt faisait des dictatures. Ce sont des régimes logiques qui se déploient selon une proposition de base et un enchaînement logique. C’est la critique qu’on a adressée à Galton et à l’eugénisme. » Ces systèmes ne visent pas à produire une performance psychologique d’ailleurs. Ils sont produits pour générer une performance marketing. Ils produisent une standardisation qui ne relève pas de la psychologie. Ils visent à rendre les profils productifs. Tout l’inverse de la psychologie en quelque sorte.

Hubert Guillaud


  Chaines INFO  
 Top News |  Monde |  Europe |  Politique |  Economie |  Bourse |  Société |  Culture |  Sciences |  Sport |  People 

Dernière modification: le   NEToo ™  Tous droits réservés • ©2004/2006 • CNIL n°892206