L’utilisation croissante des outils d’intelligence artificielle générative dans le domaine de la santé suscite un intérêt particulier, notamment pour l’éducation thérapeutique des patients asthmatiques, mais soulève également des interrogations quant à la fiabilité et à la pertinence des informations délivrées.
Une étude internationale entre l’Italie, la Suède et le Royaume-Uni, menée de manière transversale, s’est penchée sur la capacité de trois chatbots d’IA parmi les plus utilisés (ChatGPT, Bard et Copilot) à répondre à 15 questions sur la gestion de l’asthme, élaborées par des patients eux-mêmes et classées selon leur complexité. L’évaluation, conduite à l’aveugle par un panel de 21 experts internationaux et 16 représentants de patients, portait sur quatre critères fondamentaux : fiabilité, exactitude, exhaustivité et compréhensibilité des réponses, avec une analyse comparative rigoureuse.
Les résultats mettent en évidence la supériorité de ChatGPT en termes de fiabilité, avec 100% de cohérence sur l’ensemble des réponses (15/15), ainsi qu’une exactitude remarquable, matérialisée par un score médian de 9,0 (IQR : 7,0-9,0). Ce chatbot se distingue également par son exhaustivité, atteignant un score médian de 8,0 (IQR : 8,0-9,0). Bard, pour sa part, s’illustre par la meilleure compréhensibilité, obtenant un score médian de 9,0 (IQR : 8,0-10,0), un atout majeur pour l’appropriation des informations par les patients. Copilot, en revanche, se positionne en retrait sur l’ensemble des critères évalués. Les différences de performance entre les outils se sont révélées statistiquement significatives (p<0,0001) et constantes, quel que soit le niveau de difficulté des questions posées.
L’étude souligne que, si les chatbots d’IA sont capables de fournir des réponses globalement précises et accessibles aux questions courantes sur l’asthme, une variabilité subsiste, notamment en matière de fiabilité et d’exactitude. Cette hétérogénéité justifie une approche prudente dans l’intégration de ces outils en pratique clinique. Les auteurs insistent sur le fait que l’IA peut constituer un complément utile à l’éducation thérapeutique, mais qu’elle ne saurait remplacer l’expertise et la validation des professionnels de santé, indispensables à une prise en charge personnalisée et sécurisée des patients asthmatiques. Ces résultats invitent à encadrer l’usage des chatbots d’IA dans le domaine respiratoire, en privilégiant une collaboration étroite entre innovation technologique et pratique médicale fondée sur les preuves, afin de garantir la qualité et la sécurité de l’information délivrée aux patients.
On peut retenir deux limites clés de cette étude portant au final sur un jeu d'uniquement 15 questions, en anglais, sur une seule journée, sans contexte clinique réel et sans pouvoir saisir les variations temporelles ou saisonnières de l'asthme, restreignant fortement la généralisation des données, qui analysent d'ailleurs des réponses issues de versions gratuites des chatbots, potentiellement moins performantes.
Lien vers l’article : Abstract.