Ces chercheurs du Mass General Brigham (MGB, Boston) confirment que la précision des résultats de ChatGPT atteint près de 72 % dans toutes les spécialités médicales et phases de soins cliniques et jusqu’à 77 % pour le diagnostic. De nouvelles données, publiées dans le Journal of Medical Internet Research, qui mettent en évidence le potentiel de l’IA pour accroître l’accès à l’information et l’efficacité des soins de santé.
ChatGPT pourrait très rapidement jouer ainsi un rôle clé dans l’ensemble du processus de prise de décision clinique globale soit du parcours de soins du patient, depuis l'élaboration du premier diagnostic jusqu'à la prise de décision thérapeutique. Le chatbot d'intelligence artificielle semble ici fonctionner aussi bien dans un contexte de soins primaires que dans une situation d'urgence ou dans une spécialité médicale.
L’auteur principal, le Dr Marc Succi, président de l'innovation stratégique au MGB souligne : « nous avons analysé l'aide à la décision apportée par ChatGPT tout au long du parcours de soins, du diagnostic à la décision thérapeutique en passant par les tests et les examens. Nous estimons sa performance au niveau d’un jeune diplômé de médecine. Nos données suggèrent que ChatGPT a le potentiel d’un outil d’aide à la pratique et à la décision cliniques, avec une précision impressionnante ».
Fixer le cadre dans lequel l’intelligence artificielle va transformer les soins de santé
Ces chercheurs sont confiants, après avoir évalué la capacité d’outils d’intelligence artificielle (IA) de type Chat GPT dans l’ensemble des étapes de soins cliniques.
L’étude a testé l'hypothèse selon laquelle ChatGPT serait capable de travailler sur l'intégralité d'un parcours clinique d’un patient et d’apporter des recommandations aux étapes du diagnostic, de la gestion clinique et du traitement. Il a d'abord été demandé à l'outil de proposer un ensemble de diagnostics possibles, ou différentiels, basés sur les informations initiales du patient, qui comprenaient l'âge, le sexe, les symptômes et s'il s'agissait d'une urgence. ChatGPT a ensuite interrogé sur les décisions de gestion diagnostique et thérapeutique, ainsi que sur le diagnostic final, comme lors du processus de consultation d'un vrai patient. L'équipe a comparé l'exactitude de ChatGPT sur le diagnostic différentiel, les tests de diagnostic, le diagnostic final et la gestion dans un processus structuré en aveugle, en attribuant des points pour les réponses correctes. Cette analyse constate que :
- sur l’ensemble du parcours, ChatGPT est précis à environ 72 % ;
- ChatGPT est le meilleur pour établir un diagnostic final, avec une précision de 77 % ;
- ChatGPT est moins performant en matière de diagnostic différentiel, avec une précision de 60 % ;
- sa précision atteint 68 % en termes de gestion clinique (diagnostic final et traitement) ;
-
ChatGPT est dénué de préjugés sexistes ou ethniques ;
- ses performances globales apparaissent stables qu’il s’agisse de soins primaires de routine ou d'urgence.
ChatGPT a donc juste « quelques difficultés » avec le diagnostic différentiel, ce qui suggère que l’intervention du médecin reste critique particulièrement à ce stade du parcours. Si l’utilisation d’outils d'IA vont certainement permettre d’améliorer les soins et les résultats des patients, en particulier dans les déserts médicaux,
il « reste » néanmoins à cadrer l’intégration responsable de l’IA dans la prestation des soins, le soutien des personnels de santé et les processus administratifs des systèmes de santé.
Source: Journal of Medical Internet Research 22 Aug, 2023 DOI: 10.2196/48659 Assessing the Utility of ChatGPT Throughout the Entire Clinical Workflow: Development and Usability Study
Plus sur ChatGPT et la Santé
