Cette recherche, menée par une équipe de la Cleveland Clinic Foundation (Ohio), met à l’épreuve l'exactitude des conseils donnés par des modèles de langage, comme comme ChatGPT-4 ou Google Bard. Ses conclusions, publiées dans l’American Journal of Preventive Medicine, sans exclure tout l’intérêt de l’intelligence artificielle (IA) dans la Santé, montre que les professionnels de santé ne sont près d’être remplacés.
Avec une implication, faire d’abord confiance à son médecin. Même si différents outils d’IA peuvent être apporter des informations médicales pratiques, l’analyse révèle que seules 29 % des réponses de ChatGPT-4 à des questions de santé sont exactes, 29 % inexactes et 42 % partiellement exactes mais incomplètes. Le chatbot de Google, Bard maintenant nommé Gemini, montre de meilleures performances, avec 54 % de réponses exactes, 18 % inexactes et 28 % partiellement exactes.
Ces outils d’intelligence artificielle (IA) ont leurs limites,
relèvent les chercheurs, que ce soit ChatGPT-4 ou Gemini. Ils peuvent parfois même générer des conseils de santé erronés.
L’étude qui a évalué l'exactitude et la fiabilité des conseils générés par l'IA par rapport aux directives médicales établies, révèle que les modèles de langage ne sont pas encore aptes à remplacer les professionnels de santé humains. 56 questions ont été posées à ChatGPT-4 et à Gemini et les réponses ont ensuite été évaluées par 2 médecins. Les évaluations finales concluent que seules 29 % des réponses de ChatGPT-4 sont exactes, et c’est le cas de 54 % avec le modèle de Google.
L’un des auteurs principaux, le Dr Andrei Brateanu, du Service de médecine interne de la Cleveland Clinic précise : « Les moteurs de recherche Web peuvent donner accès à des sources d'informations réputées et validées, offrant des détails précis sur toute une variété de sujets de santé, en particulier en ce qui concerne la prévention ou les recommandations de santé publique. Cependant, ces outils d’IA peuvent apporter des informations médicales qui peuvent paraître très convaincantes, mais qui sont cependant inexactes ».
Le fait que les 2 modèles puissent produire des réponses inexactes ou omettre une partie des informations est à l’évidence critique en matière de médecine et de santé. La recherche n’exclut donc pas le recours à ces outils, qui vont certainement être encore optimisés, mais soutient l’importance de rester prudent et critique face aux informations médicales obtenues et la nécessité de consulter des professionnels de santé pour valider et suivre ces conseils médicaux.
Le Dr Brateanu conclut : « Les outils d'IA ne doivent pas être considérés comme des substituts aux professionnels de santé. Ils devraient plutôt être considérés comme des ressources supplémentaires à combiner avec l'expertise humaine »
Source: American Journal of Preventive Medicine 12 Feb, 2024 DOI: 10.1016/j.amepre.2024.02.006 Accuracy of Online Artificial Intelligence Models in Primary Care Settings
Plus sur l’IA en Santé