Dostupnost i kvalitet izvještavanja o eksternim validacijama modela predviđanja mašinskog učenja sa ortopedskim hirurškim ishodima: sistematski pregled.
Acta orthopaedica
Sažetak istraživanja
Pozadina i svrha - Eksterna validacija modela predviđanja mašinskog učenja (ML) je bitan korak prije kliničke primjene. Procijenili smo proporciju, performanse i transparentno izvještavanje eksterno validiranih modela predviđanja ML u ortopedskoj hirurgiji, koristeći smjernice Transparentno izvještavanje za individualnu prognozu ili dijagnozu (TRIPOD). Materijal i metode - Izvršili smo sistematsko pretraživanje koristeći sinonime za svaku ortopedsku specijalnost, ML i eksternu validaciju. Proporcija je određena korištenjem 59 modela predviđanja ML sa samo internom validacijom u ortopedskom hirurškom ishodu objavljenom do 18. juna 2020., koju je prethodno identificirala naša grupa. Performanse modela su procijenjene korištenjem analize diskriminacije, kalibracije i krive odluke. Smjernice TRIPOD procjenjuju transparentno izvještavanje.
Rezultati - Uključili smo 18 studija koje su eksterno validirale 10 različitih modela predviđanja ML od 59 dostupnih modela ML nakon skrininga 4.682 studije. Sve eksterne validacije identifikovane u ovom pregledu zadržale su dobru diskriminaciju. Ostale ključne mjere učinka date su u samo 3 studije, što je otežalo procjenu ukupnog učinka. Ukupna medijana potpunosti TRIPOD-a bila je 61% (IQR 43-89), sa 6 stavki koje je prijavljeno u manje od 4/18 studija.
Tumačenje - Većina aktuelnih modela predviđanja ML nije eksterno potvrđena. 18 dostupnih studija eksterne validacije karakterisalo je nepotpuno izveštavanje o merama performansi, što je ograničavalo transparentno ispitivanje performansi modela. Potrebne su daljnje prospektivne studije kako bi se potvrdilo ili opovrglo mnoštvo prediktivnih modela ML u ortopediji uz pridržavanje postojećih smjernica. Ovo osigurava da kliničari mogu u potpunosti iskoristiti validirane i klinički primjenjive alate za odlučivanje o ML.
Prikaži originalni naslov i sažetak na engleskom
Availability and reporting quality of external validations of machine-learning prediction models with orthopedic surgical outcomes: a systematic review.
Background and purpose - External validation of machine learning (ML) prediction models is an essential step before clinical application. We assessed the proportion, performance, and transparent reporting of externally validated ML prediction models in orthopedic surgery, using the Transparent Reporting for Individual Prognosis or Diagnosis (TRIPOD) guidelines.Material and methods - We performed a systematic search using synonyms for every orthopedic specialty, ML, and external validation. The proportion was determined by using 59 ML prediction models with only internal validation in orthopedic surgical outcome published up until June 18, 2020, previously identified by our group. Model performance was evaluated using discrimination, calibration, and decision-curve analysis. The TRIPOD guidelines assessed transparent reporting.Results - We included 18 studies externally validating 10 different ML prediction models of the 59 available ML models after screening 4,682 studies. All external validations identified in this review retained good discrimination. Other key performance measures were provided in only 3 studies, rendering overall performance evaluation difficult. The overall median TRIPOD completeness was 61% (IQR 43-89), with 6 items being reported in less than 4/18 of the studies.Interpretation - Most current predictive ML models are not externally validated. The 18 available external validation studies were characterized by incomplete reporting of performance measures, limiting a transparent examination of model performance. Further prospective studies are needed to validate or refute the myriad of predictive ML models in orthopedics while adhering to existing guidelines. This ensures clinicians can take full advantage of validated and clinically implementable ML decision tools.
Izvorni podaci
- DOI
- 10.1080/17453674.2021.1910448
- PMID
- 33870837
- PMCID
- PMC8436968
- Provjereno
- 2026-07-26
Naslov i sažetak prevedeni su automatski i prijevod može sadržavati netačnosti ili neprecizne stručne izraze. Za sve detalje, citiranje i medicinsko tumačenje pregledajte originalnu englesku verziju članka. Ne donosite zdravstvene odluke samo na osnovu ovog prijevoda.
Pregledaj originalni članak na engleskom