Agweyu LLM (primary care, Kenya)
Generative AI-Enabled Clinical Decision Support System in Primary Care: A Pragmatic, Cluster-Randomized Trial
Chez 9 691 patients de centres de soins primaires au Kenya, une aide à la décision par LLM intégrée au dossier médical n'a pas réduit l'échec thérapeutique dans les 14 jours par rapport au dossier médical électronique seul.
Premier grand essai randomisé pragmatique d'un LLM en soins primaires réels à faibles ressources — et un résultat nul sur le critère principal au niveau du patient, tout bénéfice étant « probablement modeste » selon les mots des auteurs. Sécurité rassurante, mais un taux d'événements de 2 % laisse peu de puissance, le suivi était de 14 jours, et les unités randomisées étaient les cliniciens plutôt que les patients. Une mise en garde contre l'extrapolation des gains des LLM sur vignettes (Goh GPT-4 (management reasoning)) aux résultats patients.