論文の概要: Generalization in Healthcare AI: Evaluation of a Clinical Large Language Model

• arxiv url: http://arxiv.org/abs/2402.10965v1
• Date: Wed, 14 Feb 2024 06:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-25 17:09:31.817444
• Title: Generalization in Healthcare AI: Evaluation of a Clinical Large Language Model
• Title（参考訳）: 医療AIにおける一般化 : 臨床大言語モデルの評価
• Authors: Salman Rahman, Lavender Yao Jiang, Saadia Gabriel, Yindalon Aphinyanaphongs, Eric Karl Oermann and Rumi Chunara
• Abstract要約: 大規模言語モデル(LLM)は、患者のケアの改善、臨床的意思決定、医師と管理者の強化のための医療の機会を提供する。 これらのモデルのポテンシャルは、臨床環境や人口にわたって効果的に一般化する能力に大きく依存する。 本研究は,30日間の完全寛解予測において,HOSPITALの臨床ノートを用いたLCMであるクリニックLLMを評価した。
• 参考スコア（独自算出の注目度）: 9.83029774375588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in large language models (LLMs) provide new opportunities in healthcare for improved patient care, clinical decision-making, and enhancement of physician and administrator workflows. However, the potential of these models importantly depends on their ability to generalize effectively across clinical environments and populations, a challenge often underestimated in early development. To better understand reasons for these challenges and inform mitigation approaches, we evaluated ClinicLLM, an LLM trained on [HOSPITAL]'s clinical notes, analyzing its performance on 30-day all-cause readmission prediction focusing on variability across hospitals and patient characteristics. We found poorer generalization particularly in hospitals with fewer samples, among patients with government and unspecified insurance, the elderly, and those with high comorbidities. To understand reasons for lack of generalization, we investigated sample sizes for fine-tuning, note content (number of words per note), patient characteristics (comorbidity level, age, insurance type, borough), and health system aspects (hospital, all-cause 30-day readmission, and mortality rates). We used descriptive statistics and supervised classification to identify features. We found that, along with sample size, patient age, number of comorbidities, and the number of words in notes are all important factors related to generalization. Finally, we compared local fine-tuning (hospital specific), instance-based augmented fine-tuning and cluster-based fine-tuning for improving generalization. Among these, local fine-tuning proved most effective, increasing AUC by 0.25% to 11.74% (most helpful in settings with limited data). Overall, this study provides new insights for enhancing the deployment of large language models in the societally important domain of healthcare, and improving their performance for broader populations.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、患者のケアの改善、臨床的意思決定、医師と管理者のワークフローの強化のための医療の新たな機会を提供する。 しかしながら、これらのモデルの可能性は、臨床環境や人口にわたって効果的に一般化する能力に大きく依存する。 これらの課題の理由をよりよく理解し,緩和的アプローチを提示するために,病院間の多様性と患者特性に着目した30日間の完全寛解予測の結果を分析し,[HOSPITAL]の臨床ノートに基づいて訓練した臨床LLMを評価した。 対象は, 行政・未特定保険患者, 高齢者, および, コンコービディティの高い患者で, 患者数が少ない病院では, 一般化が低かった。 一般化の欠如の原因を明らかにするため,本研究では,微調整,ノート内容(ノート数),患者特性(コーディビディティレベル,年齢,保険タイプ,区),健康システム(ホスピタル,全30日間の読解率,死亡率)のサンプルサイズについて検討した。 特徴の識別には記述統計と教師付き分類を用いた。 その結果, サンプルサイズ, 患者年齢, コンボビデンス数, ノート中の単語数などが, 一般化に関連する重要な要因であることがわかった。 最後に,局所ファインチューニング(Hospital specific),インスタンスベースの拡張ファインチューニング,クラスタベースのファインチューニングを比較した。 これらのうち、局所的な微調整が最も効果的であり、aucは0.25%から11.74%に増加した。 本研究は、社会学的に重要な医療分野における大規模言語モデルの展開を促進するための新たな洞察を与え、より広い人口に対するその性能を向上させる。

関連論文リスト

• Enhancing In-Hospital Mortality Prediction Using Multi-Representational Learning with LLM-Generated Expert Summaries [3.5508427067904864]
  ICU患者の院内死亡率(IHM)予測は、時間的介入と効率的な資源配分に重要である。 本研究は、構造化された生理データと臨床ノートをLarge Language Model(LLM)によって生成された専門家要約と統合し、IHM予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-25T16:36:38Z)
• Predicting 30-Day Hospital Readmission in Medicare Patients: Insights from an LSTM Deep Learning Model [4.918444397807014]
  本研究は, LSTMネットワークと機能工学を用いたメディケア病院の入院状況を分析し, コントリビューションの評価を行った。 LSTMモデルは、入院レベルおよび患者レベルのデータから時間的ダイナミクスを捉えるように設計されている。 主な特徴は、Charlson Comorbidity Index、病院の滞在時間、過去6ヶ月間の入院、人口統計学の変数は影響を受けなかった。
  論文  参考訳（メタデータ） (2024-10-23T03:50:32Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• Towards Personalised Patient Risk Prediction Using Temporal Hospital Data Trajectories [0.9545101073027095]
  本研究では,集中治療単位患者を滞在中の観察データの軌跡によってグループ化するパイプラインを提案する。 ICUステークの最初の4時間のみのデータにパイプラインを適用すると、患者の大多数が、滞在期間全体を考慮した場合と同じクラスタに割り当てられる。
  論文  参考訳（メタデータ） (2024-07-12T15:53:26Z)
• Predictive and Prescriptive Analytics for Multi-Site Modeling of Frail and Elderly Patient Services [0.0]
  本研究の目的は、需要が増大している医療分野における、様々な予測的、規範的分析手法が、運用上の課題にどのように貢献するかを評価することである。 規範的な面では、ベッドや病棟のスタッフを最適に計画する方法を決定するための決定論的プログラムと2段階プログラムが開発されている。 我々の研究は、医療管理者が予測モデルと規範モデルを使ってより情報的な意思決定を行うことを検討すべきであることを明らかにしている。
  論文  参考訳（メタデータ） (2023-11-13T12:25:45Z)
• Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching [49.78442796596806]
  患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。 本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
  論文  参考訳（メタデータ） (2023-03-24T03:14:00Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)
• Using Deep Learning and Explainable Artificial Intelligence in Patients' Choices of Hospital Levels [10.985001960872264]
  本研究は、全国の保険データを用いて、既存の文献で議論されている可能性のある特徴を蓄積し、ディープニューラルネットワークを用いて患者の病院レベルの選択を予測した。 その結果,受信機動作特性曲線 (AUC) (0.90), 精度 (0.90), 感度 (0.94), 特異度 (0.97) を高不均衡ラベルで予測できた。
  論文  参考訳（メタデータ） (2020-06-24T02:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。