Quand les biais (raciaux) de l’Intelligence Artificielle tuent

publié le 2 novembre 2020

Selon que vous soyez riche ou pauvre… Mais aussi selon que vous soyez blanc ou noir, de type caucasien ou afro-américain, vous n’aurez pas droit aux mêmes soins et traitements. Parce qu’un obscur algorithme biaisé (par décision humaine, ne l’oublions pas!) en aura décidé ainsi.

C’est le nouveau scandale éthique qu’a révélé une étude scientifique américaine, menée dans la région de Boston auprès de quelque 56.845 patients souffrant de maladies rénales (soignés notamment dans les hôpitaux universitaires Massachusetts General et Brigham and Women’s). Un article publié dans le magazine américain Wired a porté ses conclusions à la connaissance d’un plus large public.

Nombreux sont déjà les articles et les études scientifiques qui ont démontré la perversité des biais de l’Intelligence Artificielle. Mais le cas épinglé ici est particulièrement révélateur.

Un algorithme évaluant la fonction rénale a placé 700 patients noirs (soit un tiers de la cohorte de patients noirs) dans une catégorie de maladie rénale moins sévère que celle dans laquelle ils auraient été versés… s’ils étaient blancs. Pas moins de 64 d’entre eux avaient en réalité droit à une transplantation et auraient pu – auraient dû – être placés sur liste d’attente.

La classification a donc été faite par algorithme et les médecins ont pris cette classification pour argent comptant, ne remettant pas en cause ou ne réexaminant pas le “diagnostic”. Ces 64 patients, pour ne pas parler des autres, n’ont donc jamais bénéficié des soins dont ils avaient besoin.

Le problème est la manière dont le facteur race est utilisé (et les raisons pour lesquelles il l’est) par divers algorithmes d’évaluation d’état de santé ou de gravité de maladie. Une autre étude a révélé qu’il existe ainsi au minimum une douzaine d’algorithmes qui incluent ce genre de paramètre racial, par ailleurs potentiellement biaisé. Et ce, pour des maladies qui n’ont rien d’anodin: insuffisance rénale, cancer, affections pulmonaires…

Dans le cas de cet algorithme d’évaluation de sévérité d’insuffisance rénale, la formule mathématique utilisée appliquait automatiquement une sorte de “bonus” de 15,9% au score obtenu par des patients noirs (en repérant la présence du critère “race noire”).

De ce fait, leur taux de sévérité était systématiquement minoré. Le “bonus” était spécifiquement appliqué aux résultats du taux de filtration glomérulaire estimé. Autrement dit, l’estimation calculée du taux de filtration glomérulaire réel (TFG, soit la quantité de sang filtré par les glomérules dans les reins par minute) dérivé des taux de créatinine dans le sang. La formule tient compte de l’âge, du sexe, de la race et parfois de la taille et du poids de la personne.

Bonne nouvelle néanmoins: sur base des conclusions de l’étude clinique, l’hôpital bostonien Mass General Brigham a décidé d’abandonner la formule eTFG basée sur la race au profit d’un autre type d’évaluation (basé sur l’analyse de la Cystatine C). Et plusieurs autres l’ont imité.

Sources:
– Etude ”Examining the Potential Impact of Race Multiplier Utilization in Estimated Glomerular Filtration Rate Calculation on African-American Care Outcomes” – publiée le 15 octobre 2020 dans le Journal of General Internal Medicine.

“Hidden in Plain Sight — Reconsidering the Use of Race Correction in Clinical Algorithms”. The New England Journal of Medicine
“How an Algorithm Blocked Kidney Transplants to Black Patients” – Wired.