Intelligence artificielle : le droit 1, Big Brother 0 (2e partie)

Seconde partie de l'article consacré à l'IA et droit. Nous l'avons vu : contrairement aux idées reçues, le droit s'est emparé de l'IA depuis bien longtemps. Mais elle semble tenir sa revanche, puisqu'en s’y immisçant elle pourrait remettre en doute Catherine Prébissy-Schnall, prof de droit à l’université de Paris Ouest Nanterr, continue sa . 2/2

Boîte noire et contentieux

En plus d’être privacy by design, la technologie doit être aussi security by design et ethics by design : l’algorithme doit être intègre pour lutter contre les biais, transparent et, dans la mesure du possible, explicable et intelligible. Dans la mesure du possible car il y a le fameux problème de la « boîte noire », du deep learning : on fournit des données en entrée, il y a des données en sortie et au milieu, l’algorithme qui est conçu de sorte que son fonctionnement évolue dans le temps, en fonction des données qui lui sont fournies. Or, on se méfie du résultat algorithmique issu de la boîte noire car on ne comprend pas le raisonnement qui conduit à ce résultat en raison de l’opacité du traitement. Dans son rapport de 2018 intitulé Donner du sens à l’IA, Cédric Villani avait appelé à « ouvrir la boîte noire » afin de permettre à toute personne concernée par la décision automatisée de contester des erreurs ou des données erronées. « L'explicabilité des systèmes à base d'apprentissage constitue un véritable défi scientifique, qui met en tension notre besoin d'explication et notre souci d'efficacité. » N’est-il pas en effet normal de comprendre la logique de fonctionnement d’un algorithme à la base de la décision automatisée de refus d’un prêt ou de refus d’admission à l’Université ? On peut citer l’exemple de l’usage de Parcoursup qui constitue la porte d’entrée obligatoire pour accéder à la très grande majorité de l’offre d’enseignement supérieur en France. Configuré pour opérer au service de l’intérêt général, cet algorithme public a fait l’objet d’un contentieux important.

« L'explicabilité des systèmes à base d'apprentissage constitue un véritable défi scientifique, qui met en tension notre besoin d'explication et notre souci d'efficacité. »

Cédric Villani dans le rapport Donner du sens à l'IA de 2018

Dans une décision du 3 avril 2020,  le Conseil constitutionnel s’est en effet prononcé sur la constitutionnalité de la communication des algorithmes mis en œuvre par les universités pour l'examen des demandes d'inscription en premier cycle dans le cadre de Parcoursup. Il rappelle que les candidats peuvent obtenir la communication des informations relatives aux critères et modalités d'examen mis en œuvre par les établissements ainsi que des motifs pédagogiques qui justifient la décision prise à leur égard, une fois cette décision prise. En revanche, ni les candidats – avant qu’une décision ait été prise à leur sujet – ni les tiers ne peuvent demander à l’administration de leur communiquer les règles définissant le traitement algorithmique utilisé lors de cette procédure et les principales caractéristiques de sa mise en œuvre. Pourquoi ? Pour protéger le secret des délibérations des équipes pédagogiques au sein des universités, et ainsi assurer leur indépendance et l'autorité de leurs décisions. Cet exemple illustre le fait qu’il peut y avoir des limites posées par la loi et qu’il n’y a pas,  par principe, de droit à tout savoir.

Le droit saisi par l'IA

L’accès au droit et à la justice a été notamment bouleversé par la mise en place de nouvelles modalités de saisine électronique des juridictions et par la création de plateformes de résolutions à l’amiable des litiges. L’IA a aussi permis le développement de logiciels spécifiques pour la pratique juridique afin de favoriser « la smart justice », au sens de justice intelligente mais aussi de justice astucieuse. Ces applications qualifiées de legaltechs permettent notamment d’aider à la rédaction des jugements, d’évaluer les risques contentieux en réduisant l’aléa judiciaire, d’analyser les contrats, de prédire l’issue d’un litige en se basant sur une grande quantité de décisions de justice déjà rendues.

L’ouverture des données jurisprudentielles a été prévue par la loi du 7 octobre 2016 pour une République numérique (dite « Loi Lemaire »). Le projet de décret relatif à la mise à la disposition du public des décisions des juridictions judiciaires et administratives n’a été dévoilé qu’en décembre 2019 sur le site du ministère de la justice. Ce texte prévoit une ouverture massive de la jurisprudence portée à la connaissance du public  permettant ainsi une meilleure appréhension de la réalité contentieuse. Mais ces données sont aussi le carburant indispensable à la justice prédictive. Cette justice algorithmique est appelée à tort « justice prédictive » car il s’agit, en vérité, d’une justice analytique qui détermine les conséquences chiffrées des décisions à venir ou les arguments pertinents retenus par les juges. Les statistiques viennent ainsi faciliter la compréhension des professionnels du droit pour orienter une stratégie. Afin de maintenir une « justice indépendante, impartiale, transparente, humaine et équilibrée », la loi n°2019-222 de programmation 2018-2022 et de réforme pour la justice prévoit une anonymisation des personnes mentionnées dans la décision de justice s’il existe un risque d’atteinte « à la sécurité ou au respect de la vie privée de ces personnes ou de leur entourage ». Cette même loi interdit de réutiliser les données d'identité des magistrats et des membres du greffe en vue « d'évaluer, d'analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées ». L’objectif est d’éviter tout profilage du juge qui pourrait conduire à l’établissement de stratégies de choix de juridiction. À titre d’exemple, l’algorithme prédictif Supra Legem analysait les décisions de justice administrative permettant ainsi de connaître le taux de rejet, par magistrat identifié, des demandes d’annulation d’obligations de quitter le territoire français (OQTF : mesures prononcées par les autorités administratives à l’encontre d’étrangers en situation irrégulière). Suite à l’émotion provoquée par la publication des noms des magistrats ayant le taux de rejet le plus haut et le plus bas, l’application a cessé de fonctionner en 2018.

L’IA, sous sa forme actuelle, présente effectivement des risques d’atteintes aux libertés. Pourtant, elle est utilisée de façon massive dans la vie de tous les jours pour prendre des décisions sensibles (comme des décisions judiciaires) voire vitales (comme les diagnostics médicaux). L’adaptation continue du droit combiné à l’éthique est donc nécessaire pour permettre à l’homme de garder la main sur l’IA qui ne peut raisonnablement constituer qu’un outil d’aide à la décision sans déresponsabilisation de la personne humaine.

Catherine Prébissy-Schnall

Catherine Prébissy-Schnall

Catherine Prébissy-Schnall est Maître de conférences en droit public, habilitée à diriger les recherches à l’Université Paris-Nanterre.

Docteur en droit, titulaire d’un DEA de droit public et privé de l’économie et d’un D. U. en droit allemand, elle a écrit de nombreux articles en droit public des activités économiques et particulièrement en droit de la commande publique. Elle dirige le Master de droit du numérique à Nanterre où elle y explore les enjeux juridiques de technologies en plein essor, notamment en matière de santé et d’e-procurement.