Atelier pluridisciplinaire sur la justice sociale, l’équité et les discriminations dans les systèmes algorithmiques

Cet atelier, organisé par Bilel Benbouzid (LISIS, Université Gustave Eiffel, en délégation CNRS au CIS) et Rūta Binkytė-Sadauskienė (LIX, Inria), se déroulera les 18 et 19 novembre 2021, dans le cadre du groupe de travail Plateformes et risques algorithmiques.

L’atelier, accessible en visioconférence sur inscription, a pour objectif principal de rassembler les acteurs de la recherche française afin de partager des connaissances, imaginer des collaborations pour soumettre des propositions à divers appels de financement en 2022 et envisager des projets éditoriaux.

Atelier Fair AI
→ Programme (pdf)

Cet atelier pluridisciplinaire organisé par le Centre Internet et Société (CIS), en partenariat avec le Laboratoire interdisciplinaire Sciences Innovations Sociétés (LISIS), vise à rassembler la communauté scientifique française autour de la recherche sur la justice sociale, l’équité et les discriminations dans les systèmes algorithmiques, domaine appelé aussi Fairness in Machine Learning (FairML). La constitution de ce groupe rejoint les recommandations du Défenseur des Droits d’orienter la recherche vers le développement de connaissances plus adaptées au cadre juridique et politique français. Alors que la justice sociale se décide de manière contextuelle et pragmatique, la science dite de la « fairness dans le machine learning » reste cadrée par des repères politiques et juridiques anglo-saxons, en particulier nord-américains. C’est pourquoi une part importante du débat scientifique n’est pas directement transférable en Europe, en particulier en France, et ce pour au moins trois raisons.

Premièrement, le compromis, inversement proportionnel, dans le traitement des données, entre vie privée et équité pose des problèmes spécifiques en France. L’exemple le plus significatif, mais il y en a sans doute d’autres, est celui des variables ethniques. Essentielles à l’atténuation des biais algorithmiques de discrimination selon l’origine, celles-ci ne sont pas autorisées dans la collecte de données (sauf cas exceptionnel). Il faut chercher des méthodes plus adaptées pour détecter et atténuer ce type de discrimination algorithmique. Deuxièmement, les loi anti-discriminations s’appliquent de manière différente en Europe et aux États-Unis, notamment autour de la notion de discrimination indirecte. L’une des différences est l’absence, dans le droit communautaire, de seuils statistiques précis pour évaluer l’impact disproportionné de pratiques apparemment neutres, ce qui implique un raisonnement différent, déjà amorcé, sur la légalité des systèmes algorithmiques en Europe, et en France en particulier. Enfin, la troisième différence tient à la structuration de la recherche. Les jeux de « données-jouets » autour de la fairness, mises en commun par la communauté scientifique pour favoriser le dialogue et les collaborations, sont d’un intérêt limité pour débattre des systèmes algorithmiques utilisés en France. Le jeu de données Compas construits par le journal d’investigation Propublica, qui a permis de tester les différentes situations typiques d’indécidabilité en matière de justice prédictive, illustre un cas d’usage d’algorithme de prédiction de la récidive qui ne trouve aucune équivalence en France. Pourtant une bonne part du débat technique se structure autour de ce jeu de données. Ceci est bien connu de la littérature en sociologie des sciences, les datasets partagés par les chercheurs ne sont pas neutres. Ils produisent des effets structurants, souvent de manière invisible, sur la production des connaissances.

Ce sont ces limites qui nous invitent à proposer un atelier dans la perspective de favoriser un débat plus contributif aux spécificités françaises, tout en reprenant les axes thématiques majeurs de la recherche dans ce domaine. Nous en avons listé six qui structureront cette rencontre interdisciplinaire.

Économie normative et sens politique des métriques. On trouve en économie normative un vaste corpus de traitement formel des questions philosophiques de justice sociale et d’équité qui oriente le débat en science computationnelle vers la question des justifications morales des différentes métriques proposées. Mais ces justifications morales sont indissociables d’approche politique (libéralisme de gauche américain, communautarisme, etc.) qu’il faut pouvoir rapprocher des termes du débat politique en France sur la justice sociale, les inégalités et les discriminations.

Les perceptions de l’équité algorithmique. Alors que de nombreuses définitions de l’équité ont été proposées dans la littérature scientifique, il est impossible de les satisfaire de manière simultanée. Chaque métrique favorise quelque chose au détriment d’une autre chose. Dans ce contexte, les rapports subjectifs aux métriques apparaissent comme un enjeu de recherche important. Quelles sont les perceptions des gens ordinaires ou des data scientists des différentes définitions de l’équité ? Quelles définitions, selon des contextes différenciés, sont perçus comme les plus justes ? Comment les perceptions d’équité changent-elles avec l’ajout d’informations sociodémographiques ? Comment les manières de visualiser les métriques influencent-elles les perceptions ? Les normes d’équité perçus par les gens ordinaires varient-elles selon les modalités humaines ou algorithmique de la prise de décision ? Autant de questions qui méritent des investigations sur des échantillons situés sur le plan national.

Méthodes pour construire des systèmes algorithmiques qui intègrent les contraintes d’équité. Il existe une multitude d’approches computationnelles pour intégrer des contraintes d’équité dans le développement des systèmes algorithmiques. Quels sont les laboratoires en France qui contribuent dans une perspective de statistique théorique à la recherche sur l’équité dans le machine learning ?  Quelle est la contribution française à cette recherche ?

Les effets de long terme des contraintes d’équité sur les systèmes algorithmiques. La plupart des études en fairML examinent les prédictions algorithmiques de manière isolée, sans tenir compte du contexte plus large de son déploiement. Plusieurs chercheurs en machine learning s’accordent désormais sur le fait que les analyses isolées des systèmes algorithmiques nuisent à notre compréhension de leur implication sociale, notamment des effets potentiellement indésirables des contraintes d’équité. Un courant plus critique de la recherche sur l’équité algorithmique en appelle à une approche plus dynamique de l’équité qui tienne compte des répercussions à long terme sur les individus ou les groupes considérés, au-delà de l’instantané capturé au moment de la prédiction.

Les instruments et pratique de l’audit en matière d’équité algorithmique. La construction d’outils pour détecter, mesurer et atténuer les biais de discrimination dans les décisions algorithmiques constituent un effort pour structurer une « science réglementaire » des systèmes d’intelligence artificielle. Le modèle des études d’impact, les bacs à sable réglementaires ou encore les projets de standards internationaux constituent une réponse aux dynamiques internationales de régulation de l’intelligence artificielle. Leur mise en œuvre concrète reste néanmoins balbutiante. Des retours d’expérience en la matière est un enjeu de recherche à la fois juridique et sociologique.

L’importance d’une réflexivité critique.  L’une des caractéristiques de la recherche sur la fairness dans le machine learning est sa forte dimension réflexive, c’est-à-dire un débat interne sur le plan épistémologique et politique. Cette réflexivité tient en grande partie aux travaux issus des Sciences et Technologie Studies intégrés comme une composante essentielle du débat sur la fairness (cf. la conférence Fact animée en partie par des sociologues). Il s’agit d’interroger de manière critique les connaissances et les pratiques de ce domaine. C’est aussi une manière de construire des liens entre le domaine des sciences humaines et sociales et celui de l’informatique.