IA, radiologie et facteur humain
publié le 21 mars 2024
Les conclusions de l’étude à laquelle des chercheurs de la Harvard Medical School, du MIT et de Stanford ont procédé devront évidemment être vérifiées et corroborées mais il y a là comme une discordance par rapport aux échos nettement plus positives, voire enthousiastes, qu’on avait pu voir ces derniers temps au sujet des avantages du recours à l’Intelligence Artificielle dans le cadre des analyses et interprétations radiologiques.
Certes, les avantages potentiels de son utilisation ne sont pas remis en cause mais un sérieux bémol est mis en avant. Et il relève largement du… facteur humain.
“Although previous studies demonstrated the potential of AI assistance in improving overall clinician performance, the individual impact on clinicians remains unclear. […] Lower-performing radiologists do not consistently benefit more from AI assistance, challenging prevailing assumptions.
Instead, we found that the occurrence of AI errors strongly influences treatment outcomes, with inaccurate AI predictions adversely affecting radiologist performance on the aggregate of all pathologies and on half of the individual pathologies investigated.”
Le facteur humain, selon les auteurs de l’étude, aurait donc une influence majeure sur l’intérêt du recours à l’IA. Ce qui, en filigrane, renvoie non seulement à l’expérience mais aussi à la formation, voire aux conditions de travail des spécialistes concernés.
Les auteurs expliquent le constat qu’ils ont posé et le net contraste de leur conclusions par rapport aux évaluations antérieures par le fait que “les études précédentes sur la collaboration clinicien-IA ont essentiellement été axées sur l’analyse de groupes de cliniciens, considérés comme des touts, négligeant la variabilité de l’effet qu’a l’IA sur des cliniciens individuels. […] [Ces études] mesurent souvent les changements en termes de prédictions plutôt que les changements en termes de précision de prédiction.”
Deux critiques ici. D’une part, ces études antérieurs n’auraient donc pas suffisamment pris en compte le niveau d’expérience médicale, l’ancienneté ou encore le degré de connaissance ou de maîtrise de l’IA. De l’autre, la nature de l’effet du recours à l’IA aurait été trop superficiel.
Conclusion sous forme de conseil de l’un des auteurs de l’étude : “Cela signifie que nous ne devrions pas considérer les radiologues comme une population uniforme et considérer uniquement l’effet moyen de l’IA sur leurs performances. Pour maximiser les avantages et minimiser les dommages, nous devons personnaliser les systèmes d’assistance à l’IA.”-
Méthodologie de l’étude : les chercheurs ont analysé l’impact, multi-factoriel, du recours à l’IA comme aide au diagnostic pour radiologistes en passant en revue les résultats obtenus par 140 radiologues. Ont été passés à la loupe 15 tâches de diagnostic sur radiographies pulmonaires et les prédicteurs inhérents.
Les résultats de cet exercice de recherche ont été publiés à la mi-mars dans la revue scientifique Nature Medicine, sous l’intitulé “Heterogeneity and predictors of the effects of AI assistance on radiologists”.