Google Research a récemment publié une étude sur un nouvel outil d’intelligence artificielle appelé Med-PaLM, spécialisé dans le domaine médical et clinique. Son rôle est de répondre aux questions du secteur comme s’il était un médecin professionnel.
Le Chatbot pourrait être un produit très avantageux et utile pour les utilisateurs, mais surtout pour les médecins et les professionnels de la santé, mais il présente encore certaines limites et des tests sont encore en cours.
Google présente son nouvel outil d’IA Med-PaLM
Le géant mondial Google Research a réalisé un nouveau test pour évaluer les capacités d’un nouvel outil d’intelligence artificielle spécialisé dans le domaine médical et clinique.
Selon un article paru dans Nature, le test met en avant Med-PaLM, un Large Language Models, acronyme LLM, spécialisé.
D’après les résultats, il présente certaines limites, mais a tout de même donné de bons résultats lors des tests, et certains estiment que cette Chatbot développée par Google pourrait bientôt devenir un support précieux tant pour les médecins que pour les professionnels de la santé.
C’est ce que déclarent les chercheurs qui ont travaillé sur le produit et qui ont décidé de diffuser les résultats obtenus lors des tests.
Med-PaLM est né de l’optimisation de deux produits, à savoir PaLM et Flan-PaLM. Selon les médecins qui ont évalué le produit, seuls 61,9% des réponses au format long de Flan-PaLM sont considérées comme scientifiquement valides.
En revanche, dans la version de Med-PaLM, le pourcentage de réponses valides atteint 92,6%, presque comparable à celles générées par les médecins, qui sont de l’ordre de 92,9%.
Par exemple, pour Flan-PaLM, il a été estimé que près de 30% des résultats peuvent entraîner des conséquences néfastes, tandis que dans la version de Med-PaLM, ce chiffre descend à 5,8%, comparable aux résultats obtenus par les médecins, qui sont de 6,5%.
L’intelligence artificielle, connue sous l’acronyme IA, est un allié précieux et un outil très avantageux dans le domaine de la médecine, en particulier pour tout ce qui concerne les archives, la récupération des connaissances et le soutien aux décisions cliniques.
Les risques liés aux modèles actuellement disponibles
Si l’utilisation de ces outils peut présenter de nombreux avantages, il est également nécessaire de tenir compte des différentes limites des outils actuels.
C’est pourquoi il est nécessaire de développer ces outils et de les soumettre à de nombreux tests dans la pratique clinique pour vérifier leur fiabilité.
L’un des principaux risques que présentent ces outils d’intelligence artificielle spécialisés est de générer de la désinformation médicale ou d’accroître les préjugés concernant les inégalités de santé.
Les évaluations présentées sont souvent basées sur des estimations automatisées et des benchmarks limités, tels que les scores individuels des tests médicaux, ce qui peut entraîner une absence de fiabilité dans le monde réel et en annihiler toute valeur.
C’est pourquoi l’équipe de Google Research qui travaille sur l’outil s’est également intéressée à la capacité de ces modèles à répondre à des questions médicales spécifiques.
MultiMedQA, la référence utilisée, permet de combiner six ensembles de données de réponses à des questions existantes couvrant la médecine professionnelle, les questions des consommateurs et les recherches des utilisateurs.
Quant à HealthSearchQA, il présente un nouvel ensemble de données avec plus de 3173 questions médicales fréquemment recherchées en ligne.
