¶ Scénario 7 : Le miroir -- L'IA nous montre qui nous sommes

Pronostic : Les scénarios apocalyptiques -- Terminator, Skynet -- ne se réaliseront pas. Ce qui se réalisera est plus subtil et plus inquiétant : l'IA nous montrera qui nous sommes.

¶ Pas un Terminator -- un amplificateur

La peur de l'« IA maléfique » est un héritage d'Hollywood. Le danger réel est plus prosaïque et donc plus difficile à combattre : l'IA est une amplification des décisions humaines, des données humaines, des valeurs humaines.

Quand l'IA discrimine, c'est parce que les humains qui l'ont entraînée discriminaient. Quand l'IA concentre le pouvoir, c'est parce que des humains voulaient concentrer le pouvoir et que l'IA était l'outil pour y parvenir. Le miroir ne ment pas. Mais tout le monde ne veut pas y regarder.

¶ Biais dans les données d'entraînement

Les systèmes d'IA apprennent à partir de données produites par les humains. Ces données reflètent les inégalités historiques :

Amazon a dû abandonner en 2018 un outil de recrutement par IA parce qu'il désavantageait systématiquement les femmes -- il avait appris de dix ans de pratiques d'embauche dominées par les hommes [1].
COMPAS, un système utilisé aux États-Unis pour prédire la récidive des délinquants, évaluait systématiquement les Noirs comme plus susceptibles de récidiver que les Blancs -- à passé judiciaire identique [2].
Les générateurs d'images reproduisent des stéréotypes : les médecins sont blancs et masculins, les infirmières blanches et féminines -- parce que les données d'entraînement reflètent exactement cela.

¶ Structures de pouvoir dans les algorithmes

Shoshana Zuboff a décrit en 2019 dans The Age of Surveillance Capitalism : les grandes entreprises technologiques extraient le comportement humain comme matière première pour produire des produits de prédiction échangés sur des marchés comportementaux [3].

Google ne sait pas seulement ce que vous cherchez. Google sait ce que vous allez faire ensuite. Facebook ne sait pas seulement ce que vous aimez. Facebook sait comment vous vous sentez avant que vous ne le sachiez vous-même. Et avec l'IA, cette capacité de prédiction devient exponentiellement plus puissante.

¶ La déresponsabilisation la plus subtile

Le Brave New World d'Aldous Huxley (1932) est la prophétie la plus précise, davantage que le 1984 d'Orwell [4]. La dystopie de Huxley ne fonctionne pas par l'oppression, mais par la satisfaction :

Orwell craignait que les livres soient interdits. Huxley craignait que plus personne ne veuille lire un livre.
Orwell craignait le déni de vérité. Huxley craignait que la vérité soit noyée dans un océan d'insignifiance.

Quatre-vingt-dix ans après sa publication, Brave New World se lit comme un manuel de ce qui vient.

La Chine a construit le prototype. Le système de crédit social, testé depuis 2014, évalue le comportement de 1,4 milliard de personnes. En 2023, plus de 26 millions de billets d'avion et 6 millions de billets de train ont été refusés en raison de scores trop bas [5]. Le système fonctionne non pas malgré, mais grâce à son invisibilité : il n'y a pas de fonctionnaire à la porte. Il y a un algorithme qui décide silencieusement.

¶ Ce que cela signifie pour la Suisse

La question décisive pour 2050 n'est pas : « Que fait l'IA de nous ? » La question est : « Que faisons-nous du savoir que l'IA nous donne sur nous-mêmes ? »

La Suisse a fait un premier pas avec la loi révisée sur la protection des données (nLPD, depuis septembre 2023). Mais la protection des données seule ne suffit pas. Il faut la transparence des algorithmes : tous les systèmes d'IA qui priorisent, classent ou filtrent des contenus dans l'espace d'information public doivent divulguer leurs critères.

L'informatique a longtemps été comprise comme une discipline technique. C'est une discipline profondément humaine. L'IA est le miroir le plus honnête que l'humanité ait jamais construit. La question est de savoir si nous avons le courage d'y regarder -- et de changer ce que nous y voyons.

¶ Bibliographie

[1] Reuters: Amazon scraps secret AI recruiting tool that showed bias against women. 10 octobre 2018.

[2] Angwin, Julia et al.: Machine Bias: There's software used across the country to predict future criminals. And it's biased against blacks. ProPublica, 23 mai 2016.

[3] Zuboff, Shoshana: The Age of Surveillance Capitalism. PublicAffairs, 2019.

[4] Huxley, Aldous: Brave New World. Chatto & Windus, 1932.

[5] National Public Credit Information Center (Chine) : Credit Report 2023. Pékin, 2024.