論文の概要: Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients
- arxiv url: http://arxiv.org/abs/2502.00025v3
- Date: Fri, 14 Feb 2025 03:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 11:27:49.563232
- Title: Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients
- Title(参考訳): 機械学習の解釈可能性と予測性能を高めるための大規模言語モデルの活用:メンタルヘルス患者の救急部門復帰を事例として
- Authors: Abdulaziz Ahmed, Mohammad Saleem, Mohammed Alzeen, Badari Birur, Rachel E Fargason, Bradley G Burk, Hannah Rose Harkins, Ahmed Alhassan, Mohammed Ali Al-Garadi,
- Abstract要約: 救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。
大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
- 参考スコア(独自算出の注目度): 2.3769374446083735
- License:
- Abstract: Importance: Emergency department (ED) returns for mental health conditions pose a major healthcare burden, with 24-27% of patients returning within 30 days. Traditional machine learning models for predicting these returns often lack interpretability for clinical use. Objective: To assess whether integrating large language models (LLMs) with machine learning improves predictive accuracy and clinical interpretability of ED mental health return risk models. Methods: This retrospective cohort study analyzed 42,464 ED visits for 27,904 unique mental health patients at an academic medical center in the Deep South from January 2018 to December 2022. Main Outcomes and Measures: Two primary outcomes were evaluated: (1) 30-day ED return prediction accuracy and (2) model interpretability using a novel LLM-enhanced framework integrating SHAP (SHapley Additive exPlanations) values with clinical knowledge. Results: For chief complaint classification, LLaMA 3 (8B) with 10-shot learning outperformed traditional models (accuracy: 0.882, F1-score: 0.86). In SDoH classification, LLM-based models achieved 0.95 accuracy and 0.96 F1-score, with Alcohol, Tobacco, and Substance Abuse performing best (F1: 0.96-0.89), while Exercise and Home Environment showed lower performance (F1: 0.70-0.67). The LLM-based interpretability framework achieved 99% accuracy in translating model predictions into clinically relevant explanations. LLM-extracted features improved XGBoost AUC from 0.74 to 0.76 and AUC-PR from 0.58 to 0.61. Conclusions and Relevance: Integrating LLMs with machine learning models yielded modest but consistent accuracy gains while significantly enhancing interpretability through automated, clinically relevant explanations. This approach provides a framework for translating predictive analytics into actionable clinical insights.
- Abstract(参考訳): 重要度:精神病棟(ED)は、30日以内に24~27%の患者が帰国し、精神病棟への復帰が大きな医療負担となる。
これらのリターンを予測するための従来の機械学習モデルは、臨床使用のための解釈可能性に欠けることが多い。
目的: 大規模言語モデル(LLM)と機械学習を統合することで、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するかどうかを評価する。
方法】2018年1月から2022年12月にかけて、ディープ・サウスの大学医療センターにおいて、27,904人のメンタルヘルス患者42,464人を対象に調査を行った。
主な成果と対策:(1)30日間のED戻り予測精度と(2)SHAP(SHapley Additive exPlanations)値と臨床知識を融合した新しいLLM拡張フレームワークを用いたモデル解釈可能性の評価を行った。
結果: 主訴分類では, LLaMA 3 (8B) が従来の10ショット学習モデルより優れていた(精度: 0.882, F1スコア: 0.86)。
SDoH分類では、LCMベースのモデルは0.95の精度と0.96のF1スコアを獲得し、アルコール、タバコ、サブスタンス・アブユーズが最高(F1: 0.96-0.89)、エクササイズとホーム環境は低い性能(F1: 0.70-0.67)を示した。
LLMに基づく解釈可能性フレームワークは、モデル予測を臨床的に関連する説明に翻訳する際に99%の精度を達成した。
LLM抽出機能はXGBoost AUCを0.74から0.76に改善し、AUC-PRを0.58から0.61に改善した。
結論と関連性: 機械学習モデルとLLMを統合することで、モデストだが一貫性のある精度が向上し、自動的、臨床的に関連する説明を通じて解釈可能性を大幅に向上した。
このアプローチは、予測分析を実行可能な臨床的洞察に変換するためのフレームワークを提供する。
関連論文リスト
- Enhancing In-Hospital Mortality Prediction Using Multi-Representational Learning with LLM-Generated Expert Summaries [3.5508427067904864]
ICU患者の院内死亡率(IHM)予測は、時間的介入と効率的な資源配分に重要である。
本研究は、構造化された生理データと臨床ノートをLarge Language Model(LLM)によって生成された専門家要約と統合し、IHM予測精度を向上させる。
論文 参考訳(メタデータ) (2024-11-25T16:36:38Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8~15.0%、MIMIC-IVでは12.6~12.7%である。
論文 参考訳(メタデータ) (2024-10-06T18:46:28Z) - Predicting Deterioration in Mild Cognitive Impairment with Survival Transformers, Extreme Gradient Boosting and Cox Proportional Hazard Modelling [0.08399688944263844]
本稿では,認知の劣化を予測するために,サバイバル・トランスフォーマーの新たなアプローチと極勾配促進モデルを提案する。
提案手法は、アルツハイマー認知症における早期発見と介入をより正確にするためのこれらの手法の可能性を強調している。
論文 参考訳(メタデータ) (2024-09-24T16:49:43Z) - Enhanced Prediction of Ventilator-Associated Pneumonia in Patients with Traumatic Brain Injury Using Advanced Machine Learning Techniques [0.0]
外傷性脳損傷(TBI)患者の呼吸器関連肺炎(VAP)は重大な死亡リスクをもたらす。
TBI患者のVAPのタイムリーな検出と予後は、患者の予後を改善し、医療資源の負担を軽減するために重要である。
我々はMIMIC-IIIデータベースを用いて6つの機械学習モデルを実装した。
論文 参考訳(メタデータ) (2024-08-02T09:44:18Z) - Improving Machine Learning Based Sepsis Diagnosis Using Heart Rate Variability [0.0]
本研究の目的は、心拍変動(HRV)機能を用いて、敗血症検出のための効果的な予測モデルを開発することである。
ニューラルネットワークモデルは、HRVの特徴に基づいてトレーニングされ、F1スコアは0.805、精度は0.851、リコールは0.763である。
論文 参考訳(メタデータ) (2024-08-01T01:47:29Z) - Learning to diagnose cirrhosis from radiological and histological labels
with joint self and weakly-supervised pretraining strategies [62.840338941861134]
そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。
我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。
この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
論文 参考訳(メタデータ) (2023-02-16T17:06:23Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳(メタデータ) (2021-06-25T20:09:23Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳(メタデータ) (2021-04-07T06:02:04Z) - A Knowledge Distillation Ensemble Framework for Predicting Short and
Long-term Hospitalisation Outcomes from Electronic Health Records Data [5.844828229178025]
既存の結果予測モデルは、頻繁なポジティブな結果の低いリコールに悩まされる。
我々は、死亡率とICUの受け入れによって表される逆さを自動的に予測する、高度にスケーリング可能な、堅牢な機械学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-11-18T15:56:28Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。