論文の概要: Prescribing Large Language Models for Perioperative Care: What's The
Right Dose for Pre-trained Models?
- arxiv url: http://arxiv.org/abs/2402.17493v2
- Date: Wed, 28 Feb 2024 05:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 11:49:42.714785
- Title: Prescribing Large Language Models for Perioperative Care: What's The
Right Dose for Pre-trained Models?
- Title(参考訳): 周術期ケアのための大規模言語モデルの作成:事前学習モデルに適切な用法は何か?
- Authors: Bing Xue, Charles Alba, Joanna Abraham, Thomas Kannampallil, Chenyang
Lu
- Abstract要約: 術後のリスク予測は、効果的なケア管理と計画に影響を及ぼす。
臨床大言語モデル (LLM) が術後のリスクを予測できるかどうかを, 各種トレーニング戦略を用いた臨床テキストを用いて評価することを目的とした。
BJHデータセットでは,30日間の死亡,肺塞栓症(PE),肺炎が認められた。
事前訓練されたLLMは従来の単語の埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
- 参考スコア(独自算出の注目度): 7.963194691772056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Postoperative risk predictions can inform effective perioperative care
management and planning. We aimed to assess whether clinical large language
models (LLMs) can predict postoperative risks using clinical texts with various
training strategies. The main cohort involved 84,875 records from Barnes Jewish
Hospital (BJH) system between 2018 and 2021. Methods were replicated on Beth
Israel Deaconess's MIMIC dataset. Both studies had mean duration of follow-up
based on the length of postoperative ICU stay less than 7 days. For the BJH
dataset, outcomes included 30-day mortality, pulmonary embolism (PE) and
pneumonia. Three domain adaptation and finetuning strategies were implemented
for BioGPT, ClinicalBERT and BioClinicalBERT: self-supervised objectives;
incorporating labels with semi-supervised fine-tuning; and foundational
modelling through multi-task learning. Model performance was compared using the
area under the receiver operating characteristic curve (AUROC) and the area
under the precision recall curve (AUPRC) for classification tasks, and mean
squared error (MSE) and R2 for regression tasks. Pre-trained LLMs outperformed
traditional word embeddings, with absolute maximal gains of 38.3% for AUROC and
14% for AUPRC. Adapting models further improved performance: (1)
self-supervised finetuning by 3.2% for AUROC and 1.5% for AUPRC; (2)
semi-supervised finetuning by 1.8% for AUROC and 2% for AUPRC, compared to
self-supervised finetuning; (3) foundational modelling by 3.6% for AUROC and
2.6% for AUPRC, compared to self-supervised finetuning. Pre-trained clinical
LLMs offer opportunities for postoperative risk predictions in unforeseen data,
with peaks in foundational models indicating the potential of task-agnostic
learning towards the generalizability of LLMs in perioperative care.
- Abstract(参考訳): 術後のリスク予測は、効果的な周術期ケア管理と計画に影響を及ぼす。
臨床大言語モデル (LLM) が術後のリスクを予測できるかどうかを, 様々なトレーニング戦略を用いて評価することを目的とした。
2018年から2021年の間、バーンズ・ユダヤ人病院(BJH)の84,875件の記録を保有していた。
方法はベス・イスラエル・デコネスのMIMICデータセットで再現された。
両研究とも術後のICU持続期間は7日以内であった。
BJHデータセットでは,30日間の死亡,肺塞栓症(PE),肺炎が認められた。
BioGPT, ClinicalBERT, BioClinicalBERTの3つのドメイン適応および微調整戦略が, 自己指導目的, ラベルを半教師付き微調整, マルチタスク学習による基礎的モデリングによって実現された。
モデル性能は,受信者の動作特性曲線 (auroc) の下の領域と, 分類タスクの精度リコール曲線 (auprc) の領域, 回帰タスクの平均二乗誤差 (mse) と r2 を用いて比較した。
事前訓練されたLLMは従来の単語埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
適応モデルの性能はさらに向上した:(1)aurocでは3.2%、auprcでは1.5%、(2)aurocでは1.8%、auprcでは2%、(3)aurocでは3.6%、auprcでは2.6%の自己教師付き微調整である。
事前訓練された臨床LSMは、周術期医療におけるLSMの一般化可能性に対するタスク非依存学習の可能性を示す基礎モデルにおいて、予期せぬデータにおける術後リスク予測の機会を提供する。
関連論文リスト
- Evaluating the Fairness of the MIMIC-IV Dataset and a Baseline
Algorithm: Application to the ICU Length of Stay Prediction [65.268245109828]
本稿では、MIMIC-IVデータセットを用いて、滞在時間を予測するXGBoostバイナリ分類モデルにおける公平性とバイアスについて検討する。
この研究は、人口統計属性にわたるデータセットのクラス不均衡を明らかにし、データ前処理と特徴抽出を採用する。
この論文は、偏見を緩和するための公正な機械学習技術と、医療専門家とデータサイエンティストの協力的な努力の必要性について結論付けている。
論文 参考訳(メタデータ) (2023-12-31T16:01:48Z) - Performance of externally validated machine learning models based on
histopathology images for the diagnosis, classification, prognosis, or
treatment outcome prediction in female breast cancer: A systematic review [0.5792122879054292]
女性乳癌の診断、分類、予後、治療結果予測のための外部検証された機械学習モデル。
診断用MLモデル3例,分類用4例,予後用2例,予後用1例について検討した。
ほとんどの研究では畳み込みニューラルネットワークとロジスティック回帰アルゴリズムが使用されている。
論文 参考訳(メタデータ) (2023-12-09T18:27:56Z) - Self-Supervised Pretraining Improves Performance and Inference
Efficiency in Multiple Lung Ultrasound Interpretation Tasks [65.23740556896654]
肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。
3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
論文 参考訳(メタデータ) (2023-09-05T21:36:42Z) - Learning to diagnose cirrhosis from radiological and histological labels
with joint self and weakly-supervised pretraining strategies [62.840338941861134]
そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。
我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。
この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
論文 参考訳(メタデータ) (2023-02-16T17:06:23Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - Density-Aware Personalized Training for Risk Prediction in Imbalanced
Medical Data [89.79617468457393]
不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。
この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。
実世界の医療データセットにおけるモデルの性能向上を実証する。
論文 参考訳(メタデータ) (2022-07-23T00:39:53Z) - AttDMM: An Attentive Deep Markov Model for Risk Scoring in Intensive
Care Units [20.96242356493069]
ICUにおけるリアルタイムリスクスコアリングのための新しい生成的深層確率モデルを提案する。
私たちの知る限りでは、AttDMMは、健康軌道における長期疾患のダイナミクス(注意)と異なる疾患状態の両方を共同で学習する最初のICU予測モデルである。
本モデルは,医療従事者が早期に介入し,患者の命を救えるよう,リスクのある患者を特定するための道筋を示す。
論文 参考訳(メタデータ) (2021-02-09T08:44:31Z) - All Data Inclusive, Deep Learning Models to Predict Critical Events in
the Medical Information Mart for Intensive Care III Database (MIMIC III) [0.0]
本研究は35,348人を対象に42,818人の入院患者を対象に行った。
複数のデータソースにわたる7500万以上のイベントが処理され、3億5500万以上のトークンが処理された。
すべてのデータソースを使用して構築されたモデルから、はるかに信頼性が高く、信頼性の高いホスピタル死亡を予測できる。
論文 参考訳(メタデータ) (2020-09-02T22:12:18Z) - Short-term forecasting COVID-19 cumulative confirmed cases: Perspectives
for Brazil [3.0711362702464675]
新型コロナウイルス(COVID-19)は、今日までの最初の通知以来、何百万人もの人に感染する新興の病気だ。
本稿では、自己回帰統合移動平均(ARIMA)、キュビスト(CUBIST)、ランダムフォレスト(RF)、リッジ回帰(RIDGE)、スタックングアンサンブル学習を評価する。
開発されたモデルは正確な予測を生成でき、それぞれ0.87%から3.51%、1.02%から5.63%、0.95%から6.90%の誤差を発生させる。
論文 参考訳(メタデータ) (2020-07-21T17:58:58Z) - Hemogram Data as a Tool for Decision-making in COVID-19 Management:
Applications to Resource Scarcity Scenarios [62.997667081978825]
新型コロナウイルス(COVID-19)のパンデミックは世界中の緊急対応システムに挑戦している。
本研究は, 症状患者の血液検査データから得られた機械学習モデルについて述べる。
提案されたモデルでは、新型コロナウイルスqRT-PCRの結果を、高い精度、感度、特異性で症状のある個人に予測することができる。
論文 参考訳(メタデータ) (2020-05-10T01:45:03Z) - A Physiology-Driven Computational Model for Post-Cardiac Arrest Outcome
Prediction [0.7930054475711718]
本研究の目的は,CA後の結果を予測する計算モデルを構築することである。
我々は、生理的時系列(PTS)データの統合と機械学習(ML)分類器の訓練によりモデル性能を向上させることができると仮定した。
その結果, MLモデルによるCA後予測モデルの有効性が証明され, PTSが短期成績確率を符号化した後のごく初期段階に記録されることが示唆された。
論文 参考訳(メタデータ) (2020-02-09T07:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。