Case Law Analysis with Machine Learning in Brazilian Court (Rhuan Barros, André Peres, Fabiana Lorenzi, Leandro Krug Wives et Etiene Hubert da Silva Jaccottet)

Rhuan Barros a présenté cette étude qui porte sur l’analyse de la jurisprudence brésilienne à l’aide de méthodes d’apprentissage automatique, dans le dessein de vérifier si les tribunaux brésiliens favorisent les employeurs ou les employés dans les litiges en droit du travail. Un échantillon de 600 textes de décisions ont été annotés manuellement pour catégoriser la partie demanderesse (employeur ou employé) et indiquer si la décision du tribunal lui a été favorable ou défavorable. Des modèles prédictifs ont été construits par apprentissage automatique afin de catégoriser plus de 10 000 décisions publiées en 2017 par une cour d’appel régionale. Une fois toutes ces décisions catégorisées à l’aide de ces modèles, les chercheurs ont constaté que les jugements étaient favorables à l’employeur dans 58% des cas où l’employeur était l’appelant, tandis qu’ils étaient favorables à l’employé dans 61% des cas où l’employé était l’appelant. Pour les chercheurs, ceci contredirait un mythe selon lequel les tribunaux brésiliens du travail favoriseraient plus souvent les travailleurs. En revanche, cette cour est organisée en comités de juges et les auteurs ont aussi trouvé que les décisions de l’un des comités défavorisaient beaucoup plus souvent les employeurs, tandis qu’un autre, au contraire, penchait plus souvent en leur faveur, corroborant la croyance selon laquelle il existerait différentes tendances au sein des cours brésiliennes.

La discussion qui a suivi cette présentation fut des plus intéressantes. Questionné sur la possibilité d’utiliser la même technique pour analyser les décisions des juges individuels, Rhuan Barros a indiqué ne pas du tout vouloir aller dans cette direction. Alors qu’un membre de l’auditoire faisait valoir que, tant qu’à évaluer le biais des comités (qui sont formés de seulement trois juges chacun), il ne manquait qu’un pas pour évaluer le biais des juges individuels, une autre intervenante a indiqué comprendre que le chercheur ne souhaite pas miner la crédibilité des institutions brésiliennes par ses travaux, puisque le droit est sensé être indépendant de l’idéologie du juge. Cependant, selon elle, les recherches ont depuis longtemps montré que l’idéologie d’un juge est l’un des meilleurs prédicteurs de sa décision.

Une praticienne en droit de la famille a ajouté qu’il était bien connu dans son milieu que certains juges avaient un biais. Au Québec, un avocat ne peut choisir devant quel juge il plaidera, mais quelques heures avant la comparution, quand il prend connaissance de l’horaire du tribunal, il peut être tenté d’utiliser un élément de procédure pour reporter la comparution et éviter un juge qui serait probablement défavorable à son client. Les biais sont hélas une réalité de notre système de justice.

Dans une discussion de couloir, un autre auditeur m’indiquait que pour lui, l’étude n’était pas très concluante, parce qu’elle n’a pas considéré des variables importantes, par exemple le nombre de demandes respectives des employeurs et des employés. Se pourrait-il que les employeurs fassent appel beaucoup plus souvent que les employés, qu’ils soient prêts à prendre plus de risques en allant devant les tribunaux, juste parce qu’ils ont plus de moyens pour le faire? Se pourrait-il que les employeurs soient plus souvent prêts à prendre le risque de défendre l’indéfendable? Il se pourrait donc que les difficultés de l’accès à la justice influencent les résultats de cette étude, dont les limites gagneraient à être mieux analysées. Il semble difficile d’isoler tous les facteurs qui devraient être pris en compte pour que le système d’évaluation lui-même ne conduise pas à une conclusion biaisée.

Towards a New Approach to Legal Indexing Using Facets (Michelle Cumyn, Michèle Hudon, Sabine Mas et Günter Reiner)

Michelle Cumyn a présenté ce projet de conception d’un nouveau modèle d’indexation des décisions de justice qui s’appuie sur le concept de facettes, des travaux bien avancés mais toujours en cours. Les facettes servent ici à décrire le contenu des décisions, en s’inspirant d’idées avancées au début des années 1930 par le génial mathématicien et bibliothécaire indien Ranganathan (1892-1972), de l’organisation des sources du droit conçue par le juriste de l’Empire romain Gaïus (autour de 120-180), ainsi que d’une conception contemporaine des facettes, telle qu’on l’observe dans bien des interfaces de recherche sur le Web. Le modèle vise notamment à aider un chercheur d’informations, qui pourrait être un spécialiste du droit ou un citoyen ordinaire, à interroger le système à partir des faits applicables (p. ex. la morsure d’un chien), puis à trouver les réponses juridiques associées à ces faits dans les décisions passées (p. ex. les règles applicables et les sanctions).

Puisque je collabore avec l’équipe du projet à titre d’auxiliaire de recherche et de consultant en informatique, je ne voulais absolument pas manquer cette présentation, l’une des premières auprès de la communauté scientifique. L’auditoire a semblé fort intéressé par cette approche différente de celle observée dans la plupart des bases de données juridiques, et désireux de comprendre le fonctionnement et la performance du modèle. Cependant, comme l’utilisabilité du système n’a pas encore été testée avec de vrais utilisateurs, il est encore tôt pour se prononcer sur sa performance. Un participant à la discussion a vite identifié quelques indicateurs de mesure déjà considérés par l’équipe de recherche, dont le rappel et la précision et le temps pris par les utilisateurs pour faire leurs recherches.

Lors de la discussion, une limite importante de l’étude a été soulevée, soit la petite taille du corpus utilisé pour tester le modèle — environ 2 500 décisions de justice indexées manuellement. Le modèle sera-t-il généralisable à tous les domaines du droit? Les chercheurs ont tenté d’atténuer cette limite par une sélection de domaines du droit canadien qui couvre à la fois le common law et le droit civil, le droit public et le droit privé, le droit fédéral et le droit provincial. D’autres enjeux à considérer : avec une si petite base de données, l’utilisateur ne risque-t-il pas de regarder chaque décision pour trouver la réponse à son problème juridique, plutôt que de se fier aux résultats de l’outil de recherche? Un tel comportement est rarissime dans le monde réel, où les bases de données contiennent des centaines de milliers de décisions. Et comment envisager appliquer le modèle à plus grande échelle? Il est difficile d’imaginer que les éditeurs juridiques s’engagent dans une réindexation manuelle de leurs vastes bases de données. À ce sujet, les chercheurs espèrent que la structure plus rigoureuse de leur modèle facilitera l’automatisation de l’indexation. En ce sens, le corpus de 2 500 documents pourrait servir à entraîner un modèle prédictif par apprentissage automatique, lequel permettrait l’indexation automatique d’autres décisions appartenant aux mêmes domaines du droit. Toutefois, avant d’explorer cet aspect, les chercheurs comptent d’abord vérifier la performance du modèle d’indexation. Aidera-t-il réellement le chercheur d’informations?

Contrairement à certaines autres présentations de la journée, le projet n’a pas semblé chatouiller les juristes présents dans la salle. Comme avec n’importe quel système de recherche d’information, les résultats obtenus avec ce système pourront avoir une influence sur le comportement de l’utilisateur et, ultimement, sa compréhension de son problème juridique. Toutefois, ce système ne cherche pas explicitement à prendre des décisions ou à faire des prédictions à la place du juriste, une tentation parfois forte chez les tenants de l’IA. Ce modèle à facettes représente surtout une tentative pour mieux coller au comportement typique du juriste à la recherche d’informations, qui serait plus souvent porté à débuter ses recherche à partir d’éléments factuels qu’à partir de concepts juridiques.

Identification of Sensitive Content in Data Repositories to Support Personal Information Protection (Antoine Briand, Sara Zacharie, Ludovic Jean-Louis et Marie-Jean Meurs)

Dans sa communication par affiche, Antoine Briand a partagé les résultats de travaux portant sur la détection des renseignements personnels dans des documents, dans les domaines de la santé et des affaires, un problème apparenté à celui de la reconnaissance des entités nommées. Ces travaux sont motivés par le fait que les organisations accumulent une quantité grandissante de données et que des renseignements personnels peuvent aboutir aussi dans des documents non structurés ou semi-structurés. Or les organisations sont généralement tenues de respecter un cadre législatif en ce qui a trait à la protection des renseignements personnels, par exemple la Loi sur la protection des renseignements personnels et les documents électroniques, au Canada, ou encore le Règlement général sur la protection des données (RGPD) dans l’Union européenne.

Bien que le sujet soit d’actualité et qu’il me touche en tant que partisan des données ouvertes — la protection des renseignements personnels est souvent arguée en opposition à l’ouverture des données — je ne me suis pas beaucoup attardé auprès d’Antoine Briand, puisque la présentation que je rapporte ci-après avait lieu en même temps et semblait plus proche de mes propres travaux.

Artificial Intelligence and Predictive Justice: Limitations and Perspectives (Marc Queudot and Marie-Jean Meurs)

Marc Queudot, qui faisait aussi une communication par affiche, présentait une étude des limites et des perspectives de l’IA pour prédire l’issue probable d’un recours judiciaire. Les principales motivations seraient d’aider les avocats dans la préparation de leur argumentaire, ainsi que le désengorgement du système judiciaire, avec l’hypothèse que la détection des causes perdues d’avance pourrait éviter de vains recours devant les tribunaux.

Les limites d’abord présentées par Marc Queudot étaient plutôt d’ordre technique, par exemple la difficulté à obtenir l’accès à toute la jurisprudence ou encore la difficulté de faire des prédictions pour des décisions non encore prises, pour lesquelles aucun texte n’a encore été rédigé, alors que les modèles prédictifs s’appuient sur les textes de décisions antérieures. Les limites éthiques ont ensuite été abordées, un aspect qui interpelle particulièrement les juristes. On touche directement aux problèmes de l’IA responsable.

Des participants n’ont pas manqué de rappeler le risque que l’IA reproduise ou accentue des biais présents dans la jurisprudence. Par exemple, il se pourrait que dans les décisions de la Régie du logement (le tribunal administratif qui, au Québec, a compétence dans le domaine du logement locatif) il soit souvent écrit que le locataire est bénéficiaire de l’aide sociale, même si ce fait n’a aucune incidence sur la décision. La machine risque alors d’apprendre qu’être bénéficiaire de l’aide sociale est un critère important prédisant l’expulsion du logement, même si ce critère n’a aucun fondement juridique. Si un système prédictif devait prendre de bêtes corrélations statistiques pour des liens de causalité, et que les avocats ou les juges devaient s’y fier, on se trouverait à créer des biais systémiques et à entraîner la perte de droits chez certains groupes de personnes.

Il a aussi été souligné que les conseils des avocats comme les décisions des juges doivent s’appuyer sur les règles de droit. Même si les statistiques tirées de décisions antérieures permettent de croire que les probabilités de gagner une cause sont faibles, ça ne signifie pas qu’il n’existe aucune stratégie juridique pour la défendre avec succès. Les sociétés évoluent, le droit évolue, les lois changent et peuvent être contestées. Professionnellement, l’avocat est tenu de baser son analyse sur les règles de droit, non sur les statistiques des litiges similaires.

Justice & AI (Stéfanny Beaudoin)

Les enjeux juridiques soulevés par tous ces travaux essentiellement techniques ont bien mis la table pour la présentation de l’avocate Stéfanny Beaudoin, qui s’intéressait à deux grandes questions :

1. Comment le droit peut-il influer sur l’IA?
2. Comment l’IA peut-elle soutenir la pratique du droit?

Pour la première question, elle a expliqué que le droit pourrait orienter les développements de l’IA, limiter ses champs d’application, ou encore en définir les modalités d’application. Il faudrait traiter d’enjeux de responsabilité civile (p. ex. en cas d’accident d’une voiture autonome), de propriété intellectuelle (p. ex. qui possède les algorithmes, qui a le droit d’en profiter?) ou encore de classement même de l’IA (faut-il la traiter comme un produit, ou plutôt un peu comme un animal, qui a une certaine autonomie?).

Quant à la seconde question, on peut envisager différentes manières pour l’IA de soutenir la pratique du droit, soit en améliorant la productivité des praticiens (p. ex. dans la recherche juridique, dans la saisie de données, dans l’allocation des ressources), soit en favorisant l’égalité des chances (p. ex. petits cabinets d’avocats ou citoyens autoreprésentés face aux grands cabinets), soit en modernisant le système judiciaire (p. ex. classement automatique des litiges, gestion plus efficace du temps).

Enchaînant avec les questions éthiques à se poser lors du développement d’un système d’IA, Stéfanny Beaudoin a abordé l’enjeu des données. Quelles données sont utilisées? Comment sont-elles collectées? L’utilisateur en est-il informé? En ce qui a trait aux algorithmes, doivent-ils être neutres ou, au contraire, chercher à neutraliser les biais existants du système judiciaire? L’impact de l’IA sur notre système de justice touchera tout le monde, alors la conférencière nous invite tous à y réfléchir, peu importe qu’on soit développeur, juriste, citoyen ou politicien. Elle souligne l’importance du travail multidisciplinaire.

Après cette présentation, les échanges avec l’auditoire tendaient à revenir sur les risques des modèles prédictifs et de la prise de décisions juridiques par l’IA. De mon côté, j’ai l’impression que ces débats découlent de la tentation naturelle des technomanes à vouloir automatiser l’application des règles de droit. Après tout, si le droit est constitué de règles et qu’il s’appuie sur des faits et sur la logique, il doit bien y avoir moyen d’automatiser la prise de décisions! Ce rêve, il doit remonter au moins aux recherches sur les systèmes experts des années 1970. Or automatiser la prise de décisions suppose une représentation exhaustive des connaissances dont nous sommes encore loin. La conférencière l’a mis en évidence : nous n’avons pas accès à toutes les données, les textes juridiques sont écrits en langue naturelle (avec toutes les ambiguïtés que cela implique), sont très peu structurés (d’un point de vue informatique), variés dans leur style de rédaction, et emploient des termes dont le sens ne correspond pas forcément au sens commun. Les règles de droit ne sont pas toujours cohérentes entre elles, peuvent être contestées ou modifiées et, par-dessus tout, elles changent constamment.

Pour bien prendre la mesure des écueils possibles, je crois aussi qu’il importe de favoriser la multidisciplinarité appelée par Stéfanny Beaudoin. En tant qu’informaticien ayant depuis quelque temps la chance de collaborer avec des juristes, je crois avoir développé une meilleure conscience des enjeux juridiques touchés par mon travail. J’ai sans doute perdu une partie de ma naïveté à l’égard de l’automatisation, mais je crois que cela me permet d’envisager les possibilités de l’IA dans le domaine juridique avec plus de lucidité et un sens accru des responsabilités.

Référence

Les actes de la conférence sont disponibles chez Springer (malheureusement pas en libre accès).

Mouhoub, M., Mohamed, O. A., Ali, M. et Sadaoui, S. (dir.). (2018). Recent trends and future technology in applied intelligence : 31st International Conference on Industrial Engineering and Other Applications of Applied Intelligent Systems, IEA/AIE 2018, Montreal, QC, Canada, June 25-28, 2018. Springer.