論文の概要: Predicting postoperative risks using large language models
- arxiv url: http://arxiv.org/abs/2402.17493v4
- Date: Sun, 5 May 2024 04:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 23:26:12.953151
- Title: Predicting postoperative risks using large language models
- Title(参考訳): 大規模言語モデルを用いた術後リスク予測
- Authors: Bing Xue, Charles Alba, Joanna Abraham, Thomas Kannampallil, Chenyang Lu,
- Abstract要約: 各種チューニング手法を用いて, 臨床テキストによる術後リスク予測のための大規模言語モデル (LLM) について検討した。
その結果,30日間の死亡,肺塞栓症,肺炎が認められた。
事前訓練されたLLMは従来の単語の埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
- 参考スコア(独自算出の注目度): 7.42249589630227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting postoperative risk can inform effective care management & planning. We explored large language models (LLMs) in predicting postoperative risk through clinical texts using various tuning strategies. Records spanning 84,875 patients from Barnes Jewish Hospital (BJH) between 2018 & 2021, with a mean duration of follow-up based on the length of postoperative ICU stay less than 7 days, were utilized. Methods were replicated on the MIMIC-III dataset. Outcomes included 30-day mortality, pulmonary embolism (PE) & pneumonia. Three domain adaptation & finetuning strategies were implemented for three LLMs (BioGPT, ClinicalBERT & BioClinicalBERT): self-supervised objectives; incorporating labels with semi-supervised fine-tuning; & foundational modelling through multi-task learning. Model performance was compared using the AUROC & AUPRC for classification tasks & MSE & R2 for regression tasks. Cohort had a mean age of 56.9 (sd: 16.8) years; 50.3% male; 74% White. Pre-trained LLMs outperformed traditional word embeddings, with absolute maximal gains of 38.3% for AUROC & 14% for AUPRC. Adapting models through self-supervised finetuning further improved performance by 3.2% for AUROC & 1.5% for AUPRC Incorporating labels into the finetuning procedure further boosted performances, with semi-supervised finetuning improving by 1.8% for AUROC & 2% for AUPRC & foundational modelling improving by 3.6% for AUROC & 2.6% for AUPRC compared to self-supervised finetuning. Pre-trained clinical LLMs offer opportunities for postoperative risk predictions with unseen data, & further improvements from finetuning suggests benefits in adapting pre-trained models to note-specific perioperative use cases. Incorporating labels can further boost performance. The superior performance of foundational models suggests the potential of task-agnostic learning towards the generalizable LLMs in perioperative care.
- Abstract(参考訳): 術後のリスクを予測することは、効果的なケア管理と計画に影響を及ぼす可能性がある。
各種チューニング手法を用いて, 臨床テキストによる術後リスク予測のための大規模言語モデル (LLM) について検討した。
2018年から2021年の間,バーンズ・ユダヤ人病院(BJH)の84,875人の患者を対象とし,術後7日間のICU持続時間に基づく追跡調査を行った。
MIMIC-IIIデータセットにメソッドが複製された。
その結果,30日間の死亡,肺塞栓症,肺炎が認められた。
3つのLLM (BioGPT, ClinicalBERT, BioClinicalBERT) に対して, 自己指導的目的, ラベルを半監督的微調整に組み込むこと, マルチタスク学習による基礎的モデリングを行った。
モデル性能をAUROC & AUPRC を用いて分類タスクと回帰タスクの MSE & R2 と比較した。
コホートの平均年齢は56.9歳(16.8歳)、男性50.3%、白人74%だった。
事前訓練されたLLMは従来の単語の埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
自己監督微調整によるモデルの適用により、AUROCは3.2%、AUPRCは1.5%の性能向上、半監督微調整は1.8%、AUPRCは2%、基礎モデリングは3.6%、AUROCは2.6%向上した。
事前訓練された臨床LSMは、未確認データによる術後リスク予測の機会を提供し、微調整によるさらなる改善は、ノート固有の周術期のユースケースに事前訓練されたモデルを適用することの利点を示唆している。
ラベルを組み込むことでパフォーマンスをさらに向上させることができる。
基本モデルの優れた性能は、周術期医療における汎用LSMに向けたタスク非依存学習の可能性を示している。
関連論文リスト
- Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。
固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。
当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文 参考訳(メタデータ) (2024-06-21T02:28:37Z) - Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。
そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
論文 参考訳(メタデータ) (2024-04-26T16:39:50Z) - Parameter-Efficient Methods for Metastases Detection from Clinical Notes [19.540079966780954]
本研究の目的は,CT(Free-style Computed Tomography)ラジオグラフィーによる転移性肝疾患の検出を自動化することである。
本研究は,3つのアプローチを用いて知識を伝達することで,モデルの性能を向上させることを実証する。
論文 参考訳(メタデータ) (2023-10-27T20:30:59Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-18T03:34:59Z) - Self-Supervised Pretraining Improves Performance and Inference
Efficiency in Multiple Lung Ultrasound Interpretation Tasks [65.23740556896654]
肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。
3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
論文 参考訳(メタデータ) (2023-09-05T21:36:42Z) - Deep Learning for Predicting Progression of Patellofemoral
Osteoarthritis Based on Lateral Knee Radiographs, Demographic Data and
Symptomatic Assessments [1.1549572298362785]
本研究はMOST研究のベースラインから被験者(被験者1832名,膝3276名)を抽出した。
PF関節領域は, 側膝X線上の自動ランドマーク検出ツール(BoneFinder)を用いて同定した。
年齢、性別、BMIおよびWOMACスコア、および大腿骨関節X線学的関節炎ステージ(KLスコア)の危険因子について
論文 参考訳(メタデータ) (2023-05-10T06:43:33Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。
グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。
当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
論文 参考訳(メタデータ) (2022-04-22T17:27:00Z) - Short-term forecasting COVID-19 cumulative confirmed cases: Perspectives
for Brazil [3.0711362702464675]
新型コロナウイルス(COVID-19)は、今日までの最初の通知以来、何百万人もの人に感染する新興の病気だ。
本稿では、自己回帰統合移動平均(ARIMA)、キュビスト(CUBIST)、ランダムフォレスト(RF)、リッジ回帰(RIDGE)、スタックングアンサンブル学習を評価する。
開発されたモデルは正確な予測を生成でき、それぞれ0.87%から3.51%、1.02%から5.63%、0.95%から6.90%の誤差を発生させる。
論文 参考訳(メタデータ) (2020-07-21T17:58:58Z) - A Physiology-Driven Computational Model for Post-Cardiac Arrest Outcome
Prediction [0.7930054475711718]
本研究の目的は,CA後の結果を予測する計算モデルを構築することである。
我々は、生理的時系列(PTS)データの統合と機械学習(ML)分類器の訓練によりモデル性能を向上させることができると仮定した。
その結果, MLモデルによるCA後予測モデルの有効性が証明され, PTSが短期成績確率を符号化した後のごく初期段階に記録されることが示唆された。
論文 参考訳(メタデータ) (2020-02-09T07:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。