論文の概要: Prescribing Large Language Models for Perioperative Care: What's The
Right Dose for Pre-trained Models?
- arxiv url: http://arxiv.org/abs/2402.17493v1
- Date: Tue, 27 Feb 2024 13:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 16:13:24.217659
- Title: Prescribing Large Language Models for Perioperative Care: What's The
Right Dose for Pre-trained Models?
- Title(参考訳): 周術期ケアのための大規模言語モデルの作成:事前学習モデルに適切な用法は何か?
- Authors: Bing Xue, Charles Alba, Joanna Abraham, Thomas Kannampallil, Chenyang
Lu
- Abstract要約: 術後のリスク予測は、効果的なケア管理と計画に影響を及ぼす。
臨床大言語モデル (LLM) が術後のリスクを予測できるかどうかを, 各種トレーニング戦略を用いた臨床テキストを用いて評価することを目的とした。
BJHデータセットでは,30日間の死亡,肺塞栓症(PE),肺炎が認められた。
事前訓練されたLLMは従来の単語の埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
- 参考スコア(独自算出の注目度): 7.963194691772056
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Postoperative risk predictions can inform effective perioperative care
management and planning. We aimed to assess whether clinical large language
models (LLMs) can predict postoperative risks using clinical texts with various
training strategies. The main cohort involved 84,875 records from Barnes Jewish
Hospital (BJH) system between 2018 and 2021. Methods were replicated on Beth
Israel Deaconess's MIMIC dataset. Both studies had mean duration of follow-up
based on the length of postoperative ICU stay less than 7 days. For the BJH
dataset, outcomes included 30-day mortality, pulmonary embolism (PE) and
pneumonia. Three domain adaptation and finetuning strategies were implemented
for BioGPT, ClinicalBERT and BioClinicalBERT: self-supervised objectives;
incorporating labels with semi-supervised fine-tuning; and foundational
modelling through multi-task learning. Model performance was compared using the
area under the receiver operating characteristic curve (AUROC) and the area
under the precision recall curve (AUPRC) for classification tasks, and mean
squared error (MSE) and R2 for regression tasks. Pre-trained LLMs outperformed
traditional word embeddings, with absolute maximal gains of 38.3% for AUROC and
14% for AUPRC. Adapting models further improved performance: (1)
self-supervised finetuning by 3.2% for AUROC and 1.5% for AUPRC; (2)
semi-supervised finetuning by 1.8% for AUROC and 2% for AUPRC, compared to
self-supervised finetuning; (3) foundational modelling by 3.6% for AUROC and
2.6% for AUPRC, compared to self-supervised finetuning. Pre-trained clinical
LLMs offer opportunities for postoperative risk predictions in unforeseen data,
with peaks in foundational models indicating the potential of task-agnostic
learning towards the generalizability of LLMs in perioperative care.
- Abstract(参考訳): 術後のリスク予測は、効果的な周術期ケア管理と計画に影響を及ぼす。
臨床大言語モデル (LLM) が術後のリスクを予測できるかどうかを, 様々なトレーニング戦略を用いて評価することを目的とした。
2018年から2021年の間、バーンズ・ユダヤ人病院(BJH)の84,875件の記録を保有していた。
方法はベス・イスラエル・デコネスのMIMICデータセットで再現された。
両研究とも術後のICU持続期間は7日以内であった。
BJHデータセットでは,30日間の死亡,肺塞栓症(PE),肺炎が認められた。
BioGPT, ClinicalBERT, BioClinicalBERTの3つのドメイン適応および微調整戦略が, 自己指導目的, ラベルを半教師付き微調整, マルチタスク学習による基礎的モデリングによって実現された。
モデル性能は,受信者の動作特性曲線 (auroc) の下の領域と, 分類タスクの精度リコール曲線 (auprc) の領域, 回帰タスクの平均二乗誤差 (mse) と r2 を用いて比較した。
事前訓練されたLLMは従来の単語埋め込みよりも優れており、AUROCは38.3%、AUPRCは14%だった。
適応モデルの性能はさらに向上した:(1)aurocでは3.2%、auprcでは1.5%、(2)aurocでは1.8%、auprcでは2%、(3)aurocでは3.6%、auprcでは2.6%の自己教師付き微調整である。
事前訓練された臨床LSMは、周術期医療におけるLSMの一般化可能性に対するタスク非依存学習の可能性を示す基礎モデルにおいて、予期せぬデータにおける術後リスク予測の機会を提供する。
関連論文リスト
- Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案手法は,GSM8K,MATH,SciQ上でのMistral-7B Supervised Fine-Tuning(SFT)ベースラインよりも優れている。
論文 参考訳(メタデータ) (2024-05-01T11:10:24Z) - Using Pre-training and Interaction Modeling for ancestry-specific disease prediction in UK Biobank [69.90493129893112]
近年のゲノムワイド・アソシエーション(GWAS)研究は、複雑な形質の遺伝的基盤を明らかにしているが、非ヨーロッパ系個体の低発現を示している。
そこで本研究では,マルチオミクスデータを用いて,多様な祖先間での疾患予測を改善することができるかを評価する。
論文 参考訳(メタデータ) (2024-04-26T16:39:50Z) - Parameter-Efficient Methods for Metastases Detection from Clinical Notes [19.540079966780954]
本研究の目的は,CT(Free-style Computed Tomography)ラジオグラフィーによる転移性肝疾患の検出を自動化することである。
本研究は,3つのアプローチを用いて知識を伝達することで,モデルの性能を向上させることを実証する。
論文 参考訳(メタデータ) (2023-10-27T20:30:59Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-18T03:34:59Z) - Self-Supervised Pretraining Improves Performance and Inference
Efficiency in Multiple Lung Ultrasound Interpretation Tasks [65.23740556896654]
肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。
3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
論文 参考訳(メタデータ) (2023-09-05T21:36:42Z) - Deep Learning for Predicting Progression of Patellofemoral
Osteoarthritis Based on Lateral Knee Radiographs, Demographic Data and
Symptomatic Assessments [1.1549572298362785]
本研究はMOST研究のベースラインから被験者(被験者1832名,膝3276名)を抽出した。
PF関節領域は, 側膝X線上の自動ランドマーク検出ツール(BoneFinder)を用いて同定した。
年齢、性別、BMIおよびWOMACスコア、および大腿骨関節X線学的関節炎ステージ(KLスコア)の危険因子について
論文 参考訳(メタデータ) (2023-05-10T06:43:33Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。
グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。
当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
論文 参考訳(メタデータ) (2022-04-22T17:27:00Z) - All Data Inclusive, Deep Learning Models to Predict Critical Events in
the Medical Information Mart for Intensive Care III Database (MIMIC III) [0.0]
本研究は35,348人を対象に42,818人の入院患者を対象に行った。
複数のデータソースにわたる7500万以上のイベントが処理され、3億5500万以上のトークンが処理された。
すべてのデータソースを使用して構築されたモデルから、はるかに信頼性が高く、信頼性の高いホスピタル死亡を予測できる。
論文 参考訳(メタデータ) (2020-09-02T22:12:18Z) - Short-term forecasting COVID-19 cumulative confirmed cases: Perspectives
for Brazil [3.0711362702464675]
新型コロナウイルス(COVID-19)は、今日までの最初の通知以来、何百万人もの人に感染する新興の病気だ。
本稿では、自己回帰統合移動平均(ARIMA)、キュビスト(CUBIST)、ランダムフォレスト(RF)、リッジ回帰(RIDGE)、スタックングアンサンブル学習を評価する。
開発されたモデルは正確な予測を生成でき、それぞれ0.87%から3.51%、1.02%から5.63%、0.95%から6.90%の誤差を発生させる。
論文 参考訳(メタデータ) (2020-07-21T17:58:58Z) - A Physiology-Driven Computational Model for Post-Cardiac Arrest Outcome
Prediction [0.7930054475711718]
本研究の目的は,CA後の結果を予測する計算モデルを構築することである。
我々は、生理的時系列(PTS)データの統合と機械学習(ML)分類器の訓練によりモデル性能を向上させることができると仮定した。
その結果, MLモデルによるCA後予測モデルの有効性が証明され, PTSが短期成績確率を符号化した後のごく初期段階に記録されることが示唆された。
論文 参考訳(メタデータ) (2020-02-09T07:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。