論文の概要: Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients
- arxiv url: http://arxiv.org/abs/2502.00025v3
- Date: Fri, 14 Feb 2025 03:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 11:27:49.563232
- Title: Leveraging Large Language Models to Enhance Machine Learning Interpretability and Predictive Performance: A Case Study on Emergency Department Returns for Mental Health Patients
- Title(参考訳): 機械学習の解釈可能性と予測性能を高めるための大規模言語モデルの活用:メンタルヘルス患者の救急部門復帰を事例として
- Authors: Abdulaziz Ahmed, Mohammad Saleem, Mohammed Alzeen, Badari Birur, Rachel E Fargason, Bradley G Burk, Hannah Rose Harkins, Ahmed Alhassan, Mohammed Ali Al-Garadi,
- Abstract要約: 救急部門(ED)は精神状態の回復が大きな医療負担となり、患者の24-27%が30日以内に帰国する。
大規模言語モデル(LLM)と機械学習を統合することにより、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するか否かを評価する。
- 参考スコア(独自算出の注目度): 2.3769374446083735
- License:
- Abstract: Importance: Emergency department (ED) returns for mental health conditions pose a major healthcare burden, with 24-27% of patients returning within 30 days. Traditional machine learning models for predicting these returns often lack interpretability for clinical use. Objective: To assess whether integrating large language models (LLMs) with machine learning improves predictive accuracy and clinical interpretability of ED mental health return risk models. Methods: This retrospective cohort study analyzed 42,464 ED visits for 27,904 unique mental health patients at an academic medical center in the Deep South from January 2018 to December 2022. Main Outcomes and Measures: Two primary outcomes were evaluated: (1) 30-day ED return prediction accuracy and (2) model interpretability using a novel LLM-enhanced framework integrating SHAP (SHapley Additive exPlanations) values with clinical knowledge. Results: For chief complaint classification, LLaMA 3 (8B) with 10-shot learning outperformed traditional models (accuracy: 0.882, F1-score: 0.86). In SDoH classification, LLM-based models achieved 0.95 accuracy and 0.96 F1-score, with Alcohol, Tobacco, and Substance Abuse performing best (F1: 0.96-0.89), while Exercise and Home Environment showed lower performance (F1: 0.70-0.67). The LLM-based interpretability framework achieved 99% accuracy in translating model predictions into clinically relevant explanations. LLM-extracted features improved XGBoost AUC from 0.74 to 0.76 and AUC-PR from 0.58 to 0.61. Conclusions and Relevance: Integrating LLMs with machine learning models yielded modest but consistent accuracy gains while significantly enhancing interpretability through automated, clinically relevant explanations. This approach provides a framework for translating predictive analytics into actionable clinical insights.
- Abstract(参考訳): 重要度:精神病棟(ED)は、30日以内に24~27%の患者が帰国し、精神病棟への復帰が大きな医療負担となる。
これらのリターンを予測するための従来の機械学習モデルは、臨床使用のための解釈可能性に欠けることが多い。
目的: 大規模言語モデル(LLM)と機械学習を統合することで、EDメンタルヘルスリターンリスクモデルの予測精度と臨床的解釈性が向上するかどうかを評価する。
方法】2018年1月から2022年12月にかけて、ディープ・サウスの大学医療センターにおいて、27,904人のメンタルヘルス患者42,464人を対象に調査を行った。
主な成果と対策:(1)30日間のED戻り予測精度と(2)SHAP(SHapley Additive exPlanations)値と臨床知識を融合した新しいLLM拡張フレームワークを用いたモデル解釈可能性の評価を行った。
結果: 主訴分類では, LLaMA 3 (8B) が従来の10ショット学習モデルより優れていた(精度: 0.882, F1スコア: 0.86)。
SDoH分類では、LCMベースのモデルは0.95の精度と0.96のF1スコアを獲得し、アルコール、タバコ、サブスタンス・アブユーズが最高(F1: 0.96-0.89)、エクササイズとホーム環境は低い性能(F1: 0.70-0.67)を示した。
LLMに基づく解釈可能性フレームワークは、モデル予測を臨床的に関連する説明に翻訳する際に99%の精度を達成した。
LLM抽出機能はXGBoost AUCを0.74から0.76に改善し、AUC-PRを0.58から0.61に改善した。
結論と関連性: 機械学習モデルとLLMを統合することで、モデストだが一貫性のある精度が向上し、自動的、臨床的に関連する説明を通じて解釈可能性を大幅に向上した。
このアプローチは、予測分析を実行可能な臨床的洞察に変換するためのフレームワークを提供する。
関連論文リスト
- Enhancing In-Hospital Mortality Prediction Using Multi-Representational Learning with LLM-Generated Expert Summaries [3.5508427067904864]
ICU患者の院内死亡率(IHM)予測は、時間的介入と効率的な資源配分に重要である。
本研究は、構造化された生理データと臨床ノートをLarge Language Model(LLM)によって生成された専門家要約と統合し、IHM予測精度を向上させる。
論文 参考訳(メタデータ) (2024-11-25T16:36:38Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8~15.0%、MIMIC-IVでは12.6~12.7%である。
論文 参考訳(メタデータ) (2024-10-06T18:46:28Z) - Optimizing Mortality Prediction for ICU Heart Failure Patients: Leveraging XGBoost and Advanced Machine Learning with the MIMIC-III Database [1.5186937600119894]
心臓不全は世界中の何百万人もの人々に影響を与え、生活の質を著しく低下させ、高い死亡率をもたらす。
広範な研究にもかかわらず、ICU患者の心不全と死亡率の関係は、完全には理解されていない。
本研究は、ICD-9コードを用いて、MIMIC-IIIデータベースから18歳以上の1,177人のデータを解析した。
論文 参考訳(メタデータ) (2024-09-03T07:57:08Z) - Data-Driven Machine Learning Approaches for Predicting In-Hospital Sepsis Mortality [0.0]
セプシスはアメリカ合衆国と世界中で多くの死者を負う重篤な状態である。
機械学習を用いたこれまでの研究では、特徴選択とモデル解釈可能性に制限があった。
本研究は,院内敗血症死亡率を予測するための,解釈可能かつ正確な機械学習モデルを開発することを目的とした。
論文 参考訳(メタデータ) (2024-08-03T00:28:25Z) - Enhanced Prediction of Ventilator-Associated Pneumonia in Patients with Traumatic Brain Injury Using Advanced Machine Learning Techniques [0.0]
外傷性脳損傷(TBI)患者の呼吸器関連肺炎(VAP)は重大な死亡リスクをもたらす。
TBI患者のVAPのタイムリーな検出と予後は、患者の予後を改善し、医療資源の負担を軽減するために重要である。
我々はMIMIC-IIIデータベースを用いて6つの機械学習モデルを実装した。
論文 参考訳(メタデータ) (2024-08-02T09:44:18Z) - Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。
iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
論文 参考訳(メタデータ) (2024-07-10T19:17:23Z) - SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。
内科的知識を活用しててててんかんの診断を行う技術について検討した。
論文 参考訳(メタデータ) (2024-07-03T11:02:12Z) - Automatically measuring speech fluency in people with aphasia: first
achievements using read-speech data [55.84746218227712]
本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
論文 参考訳(メタデータ) (2023-08-09T07:51:40Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - A Knowledge Distillation Ensemble Framework for Predicting Short and
Long-term Hospitalisation Outcomes from Electronic Health Records Data [5.844828229178025]
既存の結果予測モデルは、頻繁なポジティブな結果の低いリコールに悩まされる。
我々は、死亡率とICUの受け入れによって表される逆さを自動的に予測する、高度にスケーリング可能な、堅牢な機械学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-11-18T15:56:28Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。