Une Intelligence Artificielle peut-elle devenir raciste ?

Une partie de mon nouveau travail consiste à réfléchir et à mettre en place des systèmes pour faciliter le traitement des données. Réseaux de neurones, systèmes expert, statistiques, etc.

C’est un monde merveilleux . Je dessine un “1″ et l’ordinateur trouve tout seul grâce a son apprentissage que j’ai bien dessiné un… et bien oui, haha… un “1″. INCROYABLE ! Mais comment a t-il trouvé cela ? Parce qu’il s’est basé sur un jeu de test.

En fait toute intelligence artificielle repose plus ou moins sur une base de connaissance ou une modélisation plus ou moins humaine de la problématique.

Mise en place d’un système prédictif

Imaginons que je veuille avoir un système prédictif sur le potentiel d’une personne a commettre un délit aux États-Unis. Mon intelligence artificielle va se basé sur l’historique, sur un jeu de test existant pour apprendre. L’IA va s’adapter et va très vite se rendre compte que statistiquement, quand on est noir on arrive plus souvent en prison. Résultat ? L’IA va peut être dire (et cela serait presque légitime) que lorsqu’on est noir, on a plus de chance de commettre un délit et d’aller en prison.

Au final ce n’est pas parce qu’il est noir ou parce qu’il a vécu dans une banlieue qu’il est devenu criminel mais c’est surtout par son vécu, ses parents, ses amis… mais cela n’est pas modélisable.

Vous pensez être à l’abri ?

Il faut savoir qu’a l’heure actuelle, certaines banques utilisent des “systèmes intelligents” pour accorder des prêts bancaires. Le dossier est saisis et le système indique si le prêt est possible ou non.

Il apparait assez clair que des informations comme la religion et l’ethnie ne doivent pas être intégrés dans le dossier mais pour autant le pays d’origine, la nationalité  ou le type de métier sont des critères qui rentre en ligne de compte.

Si vous êtes de nationalité “Roumaine”, aurez vous autant de chance de voir votre prêt accordé que si vous êtes “Français” ?

Pour autant, ceci pourra  être très difficilement démontré car une Intelligence Artificielle est complexe a décortiqué.

Que faire ?

J’ai peur qu’a terme, les IA soit des excuses pour appliquer “scientifiquement” des préjugés.

Une IA se base sur l’historique, l’apprentissage et si l’historique est raciste, il y a de forte chance pour que l’IA se calque dessus. L’autre coté qui me gène énormément sans parler de racisme reste le phénomène de “préjugé” qu’il y a derrière.

Parce que vous gagnez X euros avec un metier Y et que la plupart des personnes dans votre cas n’ont pas payé, alors vous avez de forte chance de faire pareil et c’est vrai ! Pour autant si vous êtes une exception et que vous voulez sortir de ce “moule”, on ne vous en donnera pas la possibilité.

Au final l’Intelligence Artificielle n’est pas quelque chose de mal mais c’est son utilisation dans des domaines qui restent profondément “humain” qui pose problème.

Dans bien des domaines les IA ne sont là que pour l’aide a la décision mais si l’opérateur humain qui valide ce que l’IA pense se rend compte qu’elle ne fait que très peu d’erreur, ne risque t-il pas d’il y avoir un abandon complet à ce qu’elle pense ?