Poboljšanje aplikacija velikih jezičkih modela u biomedicini uz pomoć proširene generacije: sistematski pregled, meta-analiza i smjernice za klinički razvoj.
Journal of the American Medical Informatics Association : JAMIA
Sažetak istraživanja
Cilj
Ciljevi ove studije su sintetiziranje nalaza iz nedavnih istraživanja proširene generacije (RAG) i modela velikih jezika (LLM) u biomedicini i pružanje smjernica za klinički razvoj za poboljšanje učinkovitosti. Materijali i metode Proveli smo sistematski pregled literature i meta-analizu. Izvještaj je kreiran u skladu sa Preferiranim izvještajnim stavkama za sistematske preglede i meta-analize 2020 analize. Pretraživanje je obavljeno u 3 baze podataka (PubMed, Embase, PsycINFO) koristeći termine koji se odnose na „povećana generacija za pronalaženje” i „model velikog jezika” za članke objavljene 2023. i 2024. Odabrali smo studije koje su upoređivale početne LLM performanse sa RAG performansama. Razvili smo model meta-analize slučajnih efekata, koristeći omjer šansi kao veličinu efekta.
Rezultati Među 335 studija, 20 je uključeno u ovaj pregled literature. Ukupna veličina efekta bila je 1,35, sa intervalom pouzdanosti od 95% od 1,19-1,53, što ukazuje na statistički značajan efekat (P = 0,001). Izvještavali smo o kliničkim zadacima, osnovnim LLM-ovima, izvorima i strategijama pronalaženja, kao i metodama evaluacije. Diskusija Nadovezujući se na naš pregled literature, razvili smo Smjernice za objedinjenu implementaciju i razvoj poboljšanih LLM aplikacija s RAG-om u kliničkim postavkama kako bismo informirali kliničke aplikacije koje koriste RAG.
Zaključak Sve u svemu, implementacija RAG-a pokazala je povećanje omjera šansi za 1,35 u performansama u poređenju sa osnovnim LLM-ovima. Buduća istraživanja bi se trebala fokusirati na (1) poboljšanje na nivou sistema: kombinacija RAG-a i agenta, (2) unapređenje na nivou znanja: duboka integracija znanja u LLM i (3) poboljšanje na nivou integracije: integracija RAG sistema u elektronske zdravstvene kartone.
Prikaži originalni naslov i sažetak na engleskom
Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines.
Objective The objectives of this study are to synthesize findings from recent research of retrieval-augmented generation (RAG) and large language models (LLMs) in biomedicine and provide clinical development guidelines to improve effectiveness. Materials and methods We conducted a systematic literature review and a meta-analysis. The report was created in adherence to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020 analysis. Searches were performed in 3 databases (PubMed, Embase, PsycINFO) using terms related to "retrieval augmented generation" and "large language model," for articles published in 2023 and 2024. We selected studies that compared baseline LLM performance with RAG performance. We developed a random-effect meta-analysis model, using odds ratio as the effect size.
Results Among 335 studies, 20 were included in this literature review. The pooled effect size was 1.35, with a 95% confidence interval of 1.19-1.53, indicating a statistically significant effect (P = .001). We reported clinical tasks, baseline LLMs, retrieval sources and strategies, as well as evaluation methods. Discussion Building on our literature review, we developed Guidelines for Unified Implementation and Development of Enhanced LLM Applications with RAG in Clinical Settings to inform clinical applications using RAG.
Conclusion Overall, RAG implementation showed a 1.35 odds ratio increase in performance compared to baseline LLMs. Future research should focus on (1) system-level enhancement: the combination of RAG and agent, (2) knowledge-level enhancement: deep integration of knowledge into LLM, and (3) integration-level enhancement: integrating RAG systems within electronic health records.
Izvorni podaci
- DOI
- 10.1093/jamia/ocaf008
- PMID
- 39812777
- PMCID
- PMC12005634
- Provjereno
- 2026-07-26
Naslov i sažetak prevedeni su automatski i prijevod može sadržavati netačnosti ili neprecizne stručne izraze. Za sve detalje, citiranje i medicinsko tumačenje pregledajte originalnu englesku verziju članka. Ne donosite zdravstvene odluke samo na osnovu ovog prijevoda.
Pregledaj originalni članak na engleskom