Le défi de l'explicabilité des algorithmes publics

Omniprésents dans nos vies numériques, les algorithmes sont régulièrement sous le feu des critiques. "Boîtes noires opaques" dont seuls leurs concepteurs connaîtraient le fonctionnement ils sont également accusés de "biais" générant de potentielles discriminations. Autant de critiques auquel la loi République numérique a souhaité remédier en imposant un principe de transparence pour les (seuls) algorithmes publics.

Des algorithmes pour appliquer la loi

"Les algorithmes publics se différencient de ceux employés par le secteur privé par leur vocation à servir de l'intérêt général : ils appliquent la loi et sont incontournables à la différence d'un moteur de recherche auquel on peut décider de ne pas recourir" explique Simon Chignard, chargé de mission à Etalab et auteur du récent guide sur les algorithmes (voir notre article du 26 mars 2019). Certains datent des débuts de l'informatique comme pour le calcul de l'impôt. D'autres aident à faire des appariements entre une offre limitée et une demande abondante avec un grand nombre de paramètres à prendre en compte. Ils peuvent enfin contribuer à prédire une situation ou un phénomène à partir d'historiques des données. Si les algorithmes déployés par l'État sont les plus connus, à commencer par l'algorithme post-bac (remplacé par Parcoursup) ou celui chargé d'ajuster l'offre et la demande d'organes, ils sont de plus en plus présents dans les collectivités pour allouer une place en crèche, établir une facture d'eau, attribuer un logement ou encore calculer une aide sociale. 

Publier le code de l'algorithme

La transparence des algorithmes repose tout d'abord sur la publication des formules de calcul ou du code source du logiciel, comme le prévoit la loi. C'est ainsi que Bercy a publié les formules de calcul de l'impôt sur le revenu ou, plus récemment, de la taxe foncière. Celle-ci ne saurait cependant être suffisante, car seules quelques personnes maîtrisant le code et les règles fiscales peuvent se l'approprier. Par ailleurs, certains algorithmes sont extrêmement complexes et varient en permanence du fait des nouvelles techniques d'intelligence artificielle. C'est par exemple le cas des logiciels de reconnaissance d'image, utilisés pour les dispositifs de reconnaissance faciale ou d'identification de véhicules, qui exploitent dernières technologies de "machine learning". 

Signaler leur existence et les rendre intelligibles

Le vrai sujet serait celui de leur explicabilité, "une obligation qui remonte à la déclaration des droits de l'homme qui oblige l'administration à rendre des comptes" souligne Simon Chignard. Comment ? C'est ce sur quoi a travaillé Etalab ces dernières années en s'appuyant notamment sur les travaux de la Fing et son programme "Nos systèmes". Le premier impératif est de signaler l'existence d'un calcul algorithmique au citoyen au moment où il va effectuer la formalité. Il s'agit ensuite de décrire et d'expliquer les paramètres pris en compte pour les rendre intelligibles. "Un exercice loin d'être simple car on a vite fait de perdre totalement le lecteur par un excès de détails" souligne l'expert. Il faut également garantir que l'algorithme est loyal c’est-à-dire qu'il applique correctement la procédure et que celle-ci est bien la même pour tous.

Adapter l'explication au contexte

Des principes généraux qui s'avèrent complexes à mettre en œuvre. "Le contexte joue un rôle très important dans l'explication. Avant, pendant ou après une procédure, l'explication ne sera pas la même et on ne va pas proposer la même pour un élu, un usager ou un journaliste. Il y a ensuite une distinction à faire entre l'explication globale et celle que l'on doit à un usager dans le cadre d'une procédure qui le concerne directement." Face à cette complexité, l'expert invite à explorer différentes pistes. Ce peut être le recours à un simulateur de droits dans lequel l'usager pourra faire varier lui-même l'ensemble des paramètres afin de mesurer leur poids relatif (revenu, situation familiale…). Un exercice qui pourra aussi s'appuyer sur des techniques de datavisualisation plus interactives et intuitives qu'un formulaire de saisie.  Des pistes intéressantes mais encore peu explorées par les administrations. D’où l'importance de la dernière recommandation : toujours laisser un humain dans la boucle pour expliquer à l'usager les motivations d'une décision individuelle.