Comment garantir l'équité des algorithmes ? 

De plus en plus utilisés dans la prise de décision publique, les algorithmes sont accusés d'être des boîtes noires génératrices d'une nouvelle forme d'inégalités. Loin d'être technique, le problème des biais algorithmiques serait avant tout affaire de qualité des données et de transparence des critères.

"Code source opaque", "paramètres parfois contestables"… le récent rapport de la Cour des comptes étrillant l'algorithme Parcoursup pour l'affectation universitaire des lycéens ne pouvait mieux tomber pour illustrer la table ronde "Intelligence artificielle, les algorithmes source d'équité ou de discrimination" organisée dans le cadre des Assises de la cohésion numérique territoriale le 27 février 2020 à Paris. Si le problème a pris une acuité particulière avec l'omniprésence du numérique dans notre quotidien, il est cependant loin d'être nouveau. "L'intelligence artificielle n'est qu'une famille de technologies dont font partie les algorithmes, un domaine de recherche qui remonte aux années 50. Les algorithmes d'aujourd'hui se bornent à résoudre des problèmes spécifiques, quant à l'IA forte ou 'généraliste', on ne l'atteindra peut-être jamais" a tempéré d'emblée Henri d'Agrain, du Cigref. "Il y a beaucoup de mythes autour de l'IA" a abondé Serge Abiteboul, membre du collège de l'Arcep "mais certains des logiciels qui l'utilisent affectent profondément notre vie".

Des biais algorithmiques bien réels

Les algorithmes sont en effet devenus omniprésents, des choix musicaux aux recherches par internet en passant par des sujets aussi importants que la liberté de circuler, le droit au logement ou à la formation. Des 2017, la Cnil s'était du reste intéressée aux algorithmes et avait placé les principes de "loyauté et de vigilance" au cœur de ses recommandations. Il est vrai que les dommages causés par les algorithmes peuvent être considérables, le cas du logiciel Compas aux États-Unis en fournissant une bonne illustration. "Ce logiciel devait aider les juges à déterminer le droit des détenus à bénéficier d'une liberté conditionnelle or des chercheurs ont prouvé qu'il intégrait des biais ethniques, les personnes de couleur ayant beaucoup moins de chances de l'obtenir" a expliqué Bernard Benhamou, secrétaire général de l'Institut de la souveraineté numérique. "C'est évidemment regrettable mais quand le biais est connu, il est beaucoup plus facile de corriger un logiciel que de corriger des juges", a pointé Serge Abiteboul. Le véritable enjeu serait donc de repérer ces biais. Ceux-ci peuvent être liés aux données (données manquantes, erronées, non représentatives…) comme à des erreurs de perception, de raisonnement ou de jugement. "Ces biais cognitifs sont indépendants de la technique et le résultat du choix des programmeurs", a expliqué Amal El Fallah Seghrouchni, professeure à la Sorbonne. Concevoir des algorithmes équitables reviendrait donc essentiellement à définir les bonnes règles. "La principale difficulté est de concilier des critères horizontaux, pour traiter tout le monde de la même façon, avec des critères verticaux (redistribution, discrimination positive par exemple) qui relèvent du politique" poursuit la professeure. 

Des règles reflet d'une culture

Si la règle est de nature politique, elle n'est pas nécessairement universelle et peut varier en fonction des cultures. Le dilemme dit du tramway en fournit une bonne illustration. Dans ce dilemme moral, il s'agit pour un aiguilleur de tramway devenu incontrôlable – transposé en algorithme de pilotage d'un véhicule autonome - de choisir la personne à "sacrifier" sur son chemin : un bébé dans une poussette ? une personne âgée ? un chat ? "Une université américaine ayant effectué le test dans plusieurs pays dans le monde entier montre que le chat est toujours sacrifié… Mais si les occidentaux veulent d'abord sauver le bébé, les asiatiques lui préfèrent la personne âgée", explique Bernard Benhamou. Les programmeurs du véhicule autonome (ou les politiques) devront-il choisir ? "Ce dilemme reflète une mauvaise façon de concevoir le véhicule autonome", estime Amal El Fallah Seghrouchni. "Il doit être pensé comme un TGV. Il ne viendrait à l'idée de personne qu'un TGV roule à pleine vitesse en zone urbaine, sans infrastructures adaptées. Il faut faire la même chose avec la voiture autonome et arrêter de vouloir à tout prix sa cohabitation avec des véhicules non autonomes ou des humains".  

L'intelligibilité de la décision en question

L'équité des algorithmes ne se joue enfin pas uniquement dans le code. Elle est aussi affaire de compréhension et d'intelligibilité, notamment par les quelques 13 millions de personnes les plus éloignées du numérique, souvent très dépendants de décisions administratives. "Les principes d'explicabilité et d'intelligibilité des algorithmes sont dans la loi et le RGPD", a fait valoir Gwendal Legrand, secrétaire général adjoint de la Cnil. "Oui mais comment on les applique ?", s'est interrogée Amal El Fallah Seghrouchni. Expliquer serait du reste susceptible de conduire à simplifier et donc à introduire d'autres biais…La chercheuse suggère plutôt que le contrôle des algorithmes soit intégré aux algorithmes eux-mêmes. Une solution qui ne ferait sans doute pas beaucoup progresser la "transparence" de leur code… Le recours à des experts – bien humains - et à des tiers de confiance comme les régulateurs pour garantir l'équité des algorithmes serait en définitive incontournable. "Les contrôles peuvent s'imaginer sous diverses formes. On peut dialoguer avec les concepteurs du code, on peut exiger des rapports chiffrés réguliers et, en cas de doute, aller regarder dans le code", fait valoir Serge Abiteboul. Avec une difficulté cependant : le contrôle des intelligences artificielles auto-apprenantes utilisant des techniques dites de "deep learning" où le code "s'améliore" perpétuellement. "Celles-ci fonctionnent comme de véritables boites noires" ont reconnu les intervenants. Aussi, pour ces dernières, il n'y aurait pas d'autre solution que d'en limiter le périmètre d'utilisation : en clair pas question d'y recourir pour des décisions administratives individuelles.

 

Voir aussi

Abonnez-vous à Localtis !

Recevez le détail de notre édition quotidienne ou notre synthèse hebdomadaire sur l’actualité des politiques publiques. Merci de confirmer votre abonnement dans le mail que vous recevrez suite à votre inscription.

Découvrir Localtis

Choix du format

 

Pour en savoir plus sur le traitement de vos données nous vous invitons à consulter notre Politique de protection des données à caractère personnelle