De la fiabilité de ChatGPT…

publié le 17 avril 2023

Des chercheurs américains, attachés notamment à l’université de Maryland (école de médecine), à la John Hopkins University School of Medicine ou encore à l’hôpital général du Massachusetts, se sont penchés sur le degré de confiance que l’on peut accorder à des outils d’intelligence artificielle générative – plus particulièrement le fameux ChatGPT d’OpenAI – afin d’objectiver autant que faire se peut la qualité et véracité des réponses que cet outil conversationnel automatisé apportent lors d’“échanges” avec un patient ou, de manière plus générale, dans le cadre de questions concernant la santé. 

Ces chercheurs ont publié un article dans la revue Radiology de la Radiological Society of North America, intitulé “Appropriateness of Breast Cancer Prevention and Screening Recommendations Provided by ChatGPT”.

Champ d’exploration pour l’expérience des scientifiques: 25 questions courantes (la précision sur le caractère “courant” des questions est évidemment importante) concernant la prévention et le dépistage du cancer du sein. Sur base de la littérature existante et de leur propre expérience professionnelle, les réponses ont ensuite classées en trois catégories: appropriées, inappropriées, non fiables.

Conclusion globale? Un score respectable puisque les réponses ont été jugées appropriées dans 88% des cas. Une fut cataloguée comme non appropriée (elle concernait la planification d’une mammographie en relation avec la vaccination contre le Covid-19. Deux réponses furent jugées non fiables – et incohérentes. Sur deux sujets non anodins puisqu’il était question de prévention du cancer du sein et de lieu(x) où obtenir un dépistage.

Ce qui amène les chercheurs à déclarer ceci: “ChatGPT shows potential to provide accurate information to patients about breast cancer prevention and screening, but requires further study and physician oversight, given the potential for inappropriate and inconsistent recommendations.”

Lien vers l’article de Radiology “Appropriateness of Breast Cancer Prevention and Screening Recommendations Provided by ChatGPT”.

Source: Théma-Radiologie.fr