Veille Data & Tech

Homicide Prediction Project : l’ombre de Minority Report plane sur la justice prédictive britannique

Le projet britannique Homicide Prediction Project suscite un débat majeur sur la protection des données et la vie privée, rappelant de façon troublante l’univers du film Minority Report.

Ce projet utilise les données de la police et du gouvernement pour établir le profil des personnes afin de "prédire" qui est "à risque" de commettre un meurtre à l'avenir. Il est issu d’une collaboration entre le ministère de la justice (MoJ), le ministère de l'intérieur, la police du Grand Manchester (GMP) et la police métropolitaine de Londres. 

Après des demandes d’accès aux documents publics, Statewatch, association de défense des libertés civiles à l’origine de l’alerte, a obtenu l’analyse d'impact sur la protection des données du ministère de la Justice et l'accord de partage des données avec la police de Manchester.

Cet accord de partage de données précise que des données concernant entre 100 000 et 500 000 personnes ont été exploitées par les forces de police pour développer ce modèle de prédiction.

Derrière cet objectif sécuritaire, les enjeux éthiques et juridiques sont lourds de conséquences. Le projet traite en effet des données hautement sensibles, incluant non seulement les antécédents judiciaires, mais aussi des données sur la santé mentale, les addictions ou encore le handicap.

Le Homicide Prediction Project entraîne des risques de stigmatisation et de discrimination, notamment envers les minorités et les personnes issues de milieux défavorisés, du fait de biais de surreprésentation dans les bases de données de police/justice.

« Les recherches montrent à maintes reprises que les systèmes algorithmiques destinés à « prédire » la criminalité sont intrinsèquement imparfaits. Pourtant, le gouvernement continue de promouvoir des systèmes d'IA qui profileront les personnes comme des criminels avant même qu'elles n'aient commis le moindre délit.

Ce dernier modèle, qui utilise les données de notre police et de notre ministère de l'Intérieur, institutionnellement racistes, renforcera et amplifiera la discrimination structurelle qui sous-tend le système pénal. Comme d'autres systèmes de ce type, il codifiera les préjugés à l'égard des communautés racialisées et à faibles revenus. » Sofia Lyall, chercheuse chez Statewatch.
 

Au regard du Règlement européen sur l’IA du 13 juin 2024 (RIA ou AI Act), un tel projet serait prohibé (art.5) et classé comme système à risque inacceptable dans la mesure où il repose sur une évaluation automatisée du risque criminel basée sur le profilage ou l’analyse de traits de personnalité (santé mentale, addictions, etc.) sans lien direct avec des faits criminels avérés.

En revanche, si le système d’IA est associé à une évaluation humaine s’appuyant sur des faits objectifs et vérifiables d’activité criminelle, il pourrait être classé de système à haut risque soumis à encadrement strict.

Retrouvez la précédente veille