Le dossier de la semaine:

Un robot-juge pour vous mettre en prison ? Entre science-fiction et réalité

Par Mehdi Amine, étudiant en MA1 à l'Université Libre de Bruxelles.

Le dossier qui suit est une version courte de l'essai rédigé par Mehdi Amine intitulé: «Intelligence artificielle et justice : un respect des droits de l’homme par un robot est-il possible ?». Rédigé dans le cadre d'un concours organisé par le Conseil Supérieur de la Justice, Mehdi s’est hissé à la première place et a remporté le concours pour la catégorie francophone.

L'essai entier est à découvrir ici.

L’intelligence artificielle dans notre quotidien

De l’appel à un ami de Siri par une simple demande orale à la suggestion de playlists personnalisées par Spotify, l’intelligence artificielle s’est rapidement éloignée du concept abstrait réservé à quelques ingénieurs de la Silicon Valley pour devenir une partie intégrante de notre quotidien. Ces dernières années, au-delà de la simple tendance, l’intelligence artificielle a vu son développement proliférer dans tous types de secteurs, du domaine de la santé, l’éducation ou encore la finance.

Il est donc légitime de se demander quelle influence le développement de l’intelligence artificielle portera sur notre belle justice ? Pourrait-on envisager de remplacer nos juges humains par des robots ?

Cette hypothèse, pouvant paraître farfelue aux premiers abords, n’est cependant pas totalement abracadabrante. En effet, certains pays comme l’Estonie ou encore les États-Unis ont déjà recours à ces algorithmes pour juger certaines affaires. L’avenir de la justice et l’éventuelle implantation d’algorithmes judiciaires sont donc, aujourd’hui, au centre des débats.

Les potentiels bénéfices de l'utilisation de l'IA dans le monde de la justice

Les partisans de l’implantation de robots-juges prétendent que ces derniers pourraient permettre de mettre fin aux problèmes liés notamment à la lenteur des décisions, au coût de la procédure et à la disponibilité de la justice. En d’autres termes, un robot-juge permettrait une meilleure accessibilité de la justice.

• Une justice plus rapide

L’arriéré judiciaire est un problème, et ce depuis des années. Les algorithmes judiciaires pourraient ici être très utiles en ce qu’ils seraient capables de traiter plus rapidement ce qui a déjà été jugé à de nombreuses reprises dans des affaires similaires. Le robot-juge sera ici capable de juger en quelques secondes ce que le juge humain jugera en quelques semaines, voire en quelques mois pour les plus grosses affaires.

• Un coût de procédure moins cher

En cas d’implantation d’algorithmes judiciaires, les avocats disposeront très probablement d’outils permettant de calculer les chances de remporter une affaire face à ces algorithmes. Les avocats pourront donc, avant d’entamer une procédure, estimer qu’ils n’ont pas assez de chance de remporter l’affaire en question, et ainsi éviter un procès qui sera coûteux. Ils pourraient donc décider de se tourner vers des procédures moins coûteuses, comme les modes alternatifs de résolution des conflits.

• Une justice plus disponible

L’algorithme, contrairement au juge humain, pourra exercer sa fonction de manière (quasi) permanente. On pourrait vraisemblablement imaginer une plateforme permettant de régler des litiges en ligne. Ainsi, les justiciables pourront avoir accès à la justice quand ils le souhaiteront. Un robot-juge pourrait donc apporter une réelle plus-value à notre justice actuelle et permettre de mettre fin à certaines carences existantes depuis plusieurs années.

Les potentiels risques de l'utilisation de l'IA dans le monde de la justice

Pour les opposants d’une telle implantation, il faut voir plus loin que le bout de son nez. En effet, même si un robot-juge pourrait pallier certaines carences de notre justice et ainsi la rendre plus accessible, il faut tout de même se demander quel serait l’éventuel revers de la médaille. Ainsi, nous évoquerons ici la question de la transparence de l’algorithme ainsi que la question du risque de justice répétitive.

• La transparence de l’algorithme

Le principe de transparence, qui découle du droit à un procès équitable consacré par l’article 6 de la CEDH, peut être défini comme « le caractère observable et vérifiable du processus judiciaire».

Aux premiers abords, nous pourrions croire que l’algorithmisation de la justice permettrait une meilleure transparence de la justice. De fait, il est possible de comprendre pourquoi et comment l’algorithme est arrivé à prendre une telle décision. En ce qui concerne le juge humain, même s’il explique son raisonnement dans la motivation du jugement, il n’est pas obligé d’établir les éventuelles raisons intimes qui l’ont poussé à prendre telle décision. Partant de ce postulat, les algorithmes judiciaires paraissent plus transparents que les juges humains. Cependant, dans les faits, les créateurs de ces algorithmes se cachent derrière le « secret de fabrication ». Cette transparence algorithmique est indispensable car le concepteur de l’algorithme a émis, de manière consciente ou non, des préjugés dans sa machine. L’algorithme n’est donc pas si neutre qu’on le croit.

Ainsi, la compréhension du fonctionnement interne d’un algorithme est fondamentale pour comprendre la décision qui a été prise par cette dernière et ainsi éventuellement pouvoir la contester. Autrement, il n’y a aucune possibilité de comprendre les moyens d’arriver à une décision X dans un cas Y et c’est précisément ce qui est contraire au principe de transparence.

• Une justice trop répétitive ?

Le droit a aujourd’hui un caractère évolutif pour pouvoir faire face et s’adapter aux évolutions de la société. Le rôle « créateur » de la fonction de juge n’est donc pas à négliger. C’est parfois grâce aux juges que le législateur se rend compte que la législation doit changer et évoluer ou que certains principes généraux du droit apparaissent.

Ce caractère évolutif et ce rôle du juge sont mis à mal par la justice prédictive. En effet, l’algorithme produira une décision statistiquement satisfaisante dans la majorité des cas, mais elle ne s’adaptera pas aux situations parfois fort différentes pour une même infraction. Il y a un fort risque de répétition, ce qui empêchera donc l’évolution de la jurisprudence. La décision produite sera purement mathématique, or l’essence même du contentieux pénal réside dans la richesse des critères entrant en compte dans la détermination du jugement, certains de ces critères ne pouvant être intégrés par la machine (attitude du justiciable devant la justice, évènements du passé marquants, etc.). C’est la prise en compte de tous ces critères, parfois subjectifs, qui permettent à la jurisprudence d’évoluer.

L’intervention humaine nous paraît donc ici indispensable car cette uniformisation jurisprudentielle que causerait la justice prédictive engendrerait un droit beaucoup plus conservateur qu’évolutif. L’algorithme ne pourra se détacher des jurisprudences qu’elle analyse pour prendre une décision, contrairement au juge humain.

L'exemple parfait - L'affaire Loomis v. Wisconsin

Au-delà des risques évoqués ci-dessus, il faut également vérifier si le robot-juge pourrait garantir le respect de toute une série de garanties fondamentales qui encadrent notre pouvoir judiciaire.

Le non-respect de ces garanties fondamentales conduirait à de nombreuses violations et mènera tout droit vers des décisions arbitraires et contraires à de nombreuses dispositions nationales et internationales. L’enjeu d’une telle implantation est donc fondamental. L’affaire Loomis v. Wisconsin est un bon moyen d’analyser la compatibilité d’un tel algorithme avec un certain nombre de garanties fondamentales.

Les faits se déroulent dans la nuit du 11 février 2013 à « La Crosse », petite ville du Wisconsin, aux États-Unis. Ce soir-ci, une fusillade éclate dans la petite bourgade du Wisconsin. Suite à cela s’en suit une course-poursuite entre un véhicule de police et un véhicule (volé) conduit par Éric Loomis. M. Loomis est arrêté par la police. Il est accusé par l’État du Wisconsin d’être le coupable de cette fusillade. Monsieur Loomis nie formellement les faits.

Avant le jugement, le juge responsable de l’affaire demande à ce qu’on rédige un rapport de «Presentence Investigation ». Ce rapport contenait l’évaluation du risque de récidive de M. Loomis, basé sur le résultat du logiciel COMPAS (algorithme permettant de calculer le risque de récidive d’un individu et la dangerosité de celui-ci). Le juge humain, pour déterminer l’éventuelle peine de Monsieur Loomis, compte se baser sur la prédiction de cet algorithme.

En première instance, M. Loomis est condamné à 8 ans et demi de prison. Il va en appel devant la Cour d’appel du quatrième district de l’État du Wisconsin, qui le déclare aussi coupable, mais en ramenant sa peine à 6 ans de prison. La peine est très lourde, car, dans la détermination de la peine, le juge a pris en compte le résultat de l’algorithme COMPAS qui évaluait une forte probabilité de récidive dans le chef de Monsieur Loomis (celui-ci ayant déjà été condamné en 2002 pour agression sexuelle).

L’algorithme COMPAS utilisé dans ce jugement

Nous traiterons, dans l’affaire présente, de la compatibilité de plusieurs composantes du droit à un procès équitable ainsi que du principe d’égalité et de non-discrimination avec l’algorithme COMPAS.

• Transparence de l’algorithme

Dans l’affaire présente, les concepteurs de l’algorithme COMPAS, se sont cachés derrière le « secret d’affaires ». En effet, ils n’ont pas dévoilé le fonctionnement interne de l’algorithme (ni au juge, ni aux parties). Le concepteur de l’algorithme (ici la société Northpointe) a estimé que le secret d’affaires qu’elle a développé doit être protégé de ses concurrents, qui pourraient s’en emparer et ainsi exploiter l’algorithme, sans même l’autorisation du concepteur.

Pour justifier ce manque de transparence, Northpointe avance aussi que si les criminels avaient en leur possession le manuel de fonctionnement interne de l’algorithme, ces derniers trafiqueront leurs réponses afin d’avoir un risque de récidive bas. Cela rendrait, in fine, l’algorithme inefficace.

Le manque de transparence de l’algorithme est donc ici parfaitement représenté et assumé par la société Northpointe. Même si les arguments avancés par la société peuvent être compréhensibles et recevables, il n’en demeure pas moins que ce principe fondamental, découlant du droit à un procès équitable, n’est ici pas respecté par l’algorithme COMPAS.

• Privatisation de la justice et indépendance

Le principe d’indépendance est régi par l’article 6 de la CEDH ainsi que l’article 14 du Pacte international relatif aux droits civils et politiques. En Belgique, il est également consacré par l’article 151 de la Constitution. L’indépendance du juge peut être définie comme « l’absence de subordination aux autres pouvoirs ». Il s’agit d’un statut qui permet de protéger le juge de toute influence externe ou interne qui pourrait avoir un impact sur sa décision. Le juge doit exercer sa fonction en toute liberté et sans aucune pression quelconque.

L’algorithme COMPAS a été conçu par Northepoint, qui est une société privée. Le problème posé est que cette conception d’algorithmes par le secteur privé est incontrôlable pour l’État. Il y aurait donc un risque de privatisation de la justice. De ce point de vue, on pourrait se poser des questions sur l’indépendance de ces algorithmes. Les créateurs de l’algorithme pourraient, au moment de sa conception, décider de biaiser celui-ci (pour servir des intérêts financiers, par exemple). Il pourrait donc y avoir un manque d’indépendance d’un algorithme dès sa conception ou lors de l’une de ses mises à jour.

Pour évaluer son risque de récidive, M. Loomis a dû répondre à un questionnaire de 137 questions. Toutes les questions ont été imaginées par les concepteurs de l’algorithme COMPAS, et non pas par le juge responsable de l’affaire. Le choix des questions étant incontrôlable par les juges, il y a donc bel et bien une privatisation de la justice et donc un risque d’atteinte à l’indépendance de la justice si la société privée décide de biaiser l’algorithme afin de servir ses intérêts.

Le juge est bien évidemment libre de ces choix (l’algorithme n’étant, dans l’affaire présente, qu’un outil d’aide à la décision), mais il faut qu’il puisse se détacher en toute tranquillité, si cela lui paraît judicieux, du résultat fourni par l’algorithme. Si ce n’est pas le cas, il sera alors partiellement biaisé et son indépendance sera donc potentiellement mise à mal. Dans l’affaire Loomis, aucun élément ne permet cependant d’affirmer que l’indépendance du juge a été atteinte. Dans cette affaire-ci, nous pouvons donc en déduire que la privatisation de la justice n’a pas engendré de manque d’indépendance du juge.

• Le principe d’égalité et de non-discrimination

Le principe d’égalité et de non-discrimination est garanti par les articles 10 et 11 de la Constitution, l’article 14 de la CEDH ainsi que l’article 14.1 du Pacte international relatif aux droits civils et politiques. Toujours dans cette idée de neutralité, la compatibilité de l’algorithme COMPAS avec le principe d’égalité et de non-discrimination pose question. Effectivement, nous avons vu que les algorithmes ne sont jamais vraiment neutres, et qu’ils dépendent toujours des préjugés de leurs concepteurs.

Des personnes ont pris le temps d’analyser les résultats fournis par l’algorithme COMPAS avec le réel taux de récidive observé sur une période de deux ans. Le résultat est sans appel : l’algorithme COMPAS calcule un risque plus élevé de récidive pour les afro-américains que pour le reste de la population américaine. Dans son calcul de récidive, l’algorithme COMPAS reproduit les préjugés raciaux ancrés à la société américaine depuis des années. Il ne sera pas capable de s’en détacher, contrairement au juge humain. De par son manque de neutralité avéré, l’algorithme COMPAS ne permet pas, dans cette affaire précise, de respecter le principe d’égalité et de non-discrimination.

Nous pouvons donc apercevoir, à travers cette affaire, certaines limites faisant obstacle à l’implantation d’algorithmes dans notre justice. Un robot-juge ne parait pas pouvoir respecter certaines garanties fondamentales inhérentes à notre État de droit.

Il ne fait nulle doute que ce genre d'utilisation outre-Atlantique a été prise en compte et analysée consciencieusement dans nos contrées en vue de l'implémentation du futur texte européen sur l'intelligence artificielle.

Algorithmes judiciaires en Europe : les juges algorithmiques bientôt interdits en Europe ?

C’est donc dans un objectif de protection contre les potentiels risques que pourrait engendrer l’intelligence artificielle que la Commission européenne a décidé d’adopter, le 21 avril 2021, un projet de Règlement sur la réglementation de l’intelligence artificielle au sein de l’Union européenne appelé « Artificial Intelligence Act ». Ce Règlement a pour but principal de garantir que les systèmes d’intelligence artificielle mis sur le marché européen respectent les droits fondamentaux des citoyens européens, ainsi que les valeurs de l’Union Européenne.

Différentes obligations seront imposées selon le niveau de risque du système d’intelligence artificielle utilisé (non acceptable, élevé ou non élevé) et selon l’acteur concerné par cette intelligence artificielle.

1.     Intelligence artificielle non acceptable

Tout système d’intelligence artificielle qui contrevient aux droits fondamentaux ainsi qu’aux valeurs de l’Union européenne sera, en principe, interdit. Nous pouvons citer, entre autres, la stricte interdiction de manipulation inconsciente des comportements.

Dans le cadre des algorithmes judiciaires, il existe le risque que les juges utilisant l’algorithme comme outil d’aide à la décision n’arrivent pas, dans les faits, à se détacher du résultat de l’algorithme. L’on pourrait ainsi rattacher ce risque à une manipulation inconsciente des comportements. Ainsi, il se pourrait que l’implantation de juges algorithmiques dans nos cours et tribunaux soit déclarée interdites, en vertu de l’AI Act.

2.     Intelligence artificielle à risque élevé

Une annexe de l’AI Act liste les systèmes présentant un risque élevé. Parmi ces systèmes, l’on retrouve notamment les systèmes appliquant la loi ou encore les systèmes administrant la justice et les processus démocratiques. Ces systèmes sont intrinsèquement liés à la problématique des algorithmes judiciaires. Dès lors, comment s’assurer que ces systèmes soient admissibles dans nos cours et tribunaux ?

L’AI Act établit toute une série d’exigences à respecter pour pouvoir valablement utiliser ces systèmes d’intelligence artificielle. Parmi ces exigences, l’on retrouve notamment la nécessité d’un contrôle humain sur le système, la transparence du système et l’information des utilisateurs sur le fonctionnement du système ainsi qu’une documentation technique démontrant la conformité des exigences du système à risque élevé par rapport à l’AI Act.

Conclusion

Au vu des risques de violation des droits fondamentaux que présentent l’implantation d’algorithmes judiciaires dans nos cours et tribunaux, il nous paraît assez réaliste de conclure que ceux-ci ne seront pas acceptables au vu de l’AI Act. En effet, cette violation va à l’encontre même du principal objectif de la Commission européenne, qui est de protéger les citoyens de l’Union européenne contre la violation de leurs droits fondamentaux.

De plus, dans l’hypothèse où un algorithme judiciaire ne serait pas considéré comme non acceptable, il serait à tout le moins considéré, au vu des éléments précités, comme étant à risque élevé. Ainsi, son implantation pourrait être envisageable, mais en respectant des exigences strictes. À défaut, l’AI Act interdira son implantation. Au vu des éléments étudiés tout au long de cet article, il nous parait peu probable d’affirmer qu’un algorithme judiciaire puisse, à l’heure actuelle, respecter les exigences de transparence prévues par l’AI Act.

L’implantation de robots-juges ne relève pas de la science-fiction, mais ne parait pas, à l’heure actuelle, réaliste en ce qu’elle violerait diverses garanties fondamentales strictement protégées par notre État de droit. Au final, seul l’avenir nous dira ce que nous réserve ce développement de l’intelligence artificielle dans nos cours et tribunaux. Malgré toute notre objectivité dans la réalisation de cet article, nous n’avons pas la prétention algorithmique de prédire ce qui pourrait se passer à l’avenir...
 

Par Mehdi Amine.