論文の概要: Large Language Models for Medical Forecasting -- Foresight 2
- arxiv url: http://arxiv.org/abs/2412.10848v1
- Date: Sat, 14 Dec 2024 14:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:02:47.213709
- Title: Large Language Models for Medical Forecasting -- Foresight 2
- Title（参考訳）: 医学予測のための大規模言語モデル -その2-
- Authors: Zeljko Kraljevic, Joshua Au Yeung, Daniel Bean, James Teo, Richard J. Dobson,
- Abstract要約: Foresight 2 (FS2) は、患者のスケジュールをモデル化するための病院データに基づいて微調整された大きな言語モデルである。
患者の臨床ノートを理解し、幅広いバイオメディカル・ユースケースのSNOMEDコードを予測する。
- 参考スコア（独自算出の注目度）: 0.573038865401108
- License:
- Abstract: Foresight 2 (FS2) is a large language model fine-tuned on hospital data for modelling patient timelines (GitHub 'removed for anon'). It can understand patients' clinical notes and predict SNOMED codes for a wide range of biomedical use cases, including diagnosis suggestions, risk forecasting, and procedure and medication recommendations. FS2 is trained on the free text portion of the MIMIC-III dataset, firstly through extracting biomedical concepts and then creating contextualised patient timelines, upon which the model is then fine-tuned. The results show significant improvement over the previous state-of-the-art for the next new biomedical concept prediction (P/R - 0.73/0.66 vs 0.52/0.32) and a similar improvement specifically for the next new disorder prediction (P/R - 0.69/0.62 vs 0.46/0.25). Finally, on the task of risk forecast, we compare our model to GPT-4-turbo (and a range of open-source biomedical LLMs) and show that FS2 performs significantly better on such tasks (P@5 - 0.90 vs 0.65). This highlights the need to incorporate hospital data into LLMs and shows that small models outperform much larger ones when fine-tuned on high-quality, specialised data.
- Abstract（参考訳）: Foresight 2 (FS2) は、患者のタイムラインをモデル化するための病院データに微調整された大きな言語モデルである(GitHub 'removed for anon')。
患者の臨床ノートを理解し、診断提案、リスク予測、処置や医薬品の推奨など、幅広いバイオメディカルユースケースのSNOMEDコードを予測することができる。
FS2はMIMIC-IIIデータセットのフリーテキスト部分に基づいてトレーニングされ、まずバイオメディカルな概念を抽出し、コンテキスト化された患者のタイムラインを作成し、そこでモデルを微調整する。
この結果は、次の新しいバイオメディカル概念予測(P/R - 0.73/0.66 vs 0.52/0.32)の最先端よりも大幅に改善され、次の新しい障害予測(P/R - 0.69/0.62 vs 0.46/0.25)に類似した改善がなされた。
最後に、リスク予測のタスクにおいて、我々のモデルをGPT-4-turbo(および様々なオープンソースバイオメディカルLSM)と比較し、FS2がそのようなタスク(P@5 - 0.90 vs 0.65)において著しく優れていることを示す。
このことは、病院のデータをLSMに組み込むことの必要性を強調し、高品質で専門化されたデータに基づいて微調整された場合、小さなモデルの方がはるかに大きなデータより優れていることを示している。
関連論文リスト
- Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。
Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
論文 参考訳（メタデータ） (2024-09-13T20:12:29Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳（メタデータ） (2023-10-04T01:36:30Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳（メタデータ） (2022-12-17T23:29:14Z) - Foresight -- Deep Generative Modelling of Patient Timelines using
Electronic Health Records [46.024501445093755]
医学史の時間的モデリングは、将来の出来事を予測し、シミュレートしたり、リスクを見積り、代替診断を提案したり、合併症を予測するために使用することができる。
我々は、文書テキストを構造化されたコード化された概念に変換するためにNER+Lツール(MedCAT)を使用する新しいGPT3ベースのパイプラインであるForesightを提示する。
論文 参考訳（メタデータ） (2022-12-13T19:06:00Z) - Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。
生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。
今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文 参考訳（メタデータ） (2022-11-13T01:07:23Z) - An Interpretable Web-based Glioblastoma Multiforme Prognosis Prediction
Tool using Random Forest Model [1.1024591739346292]
治療後1年間のGBM患者の健康状態を推定する予測モデルを提案する。
総計467名のGBM患者の臨床像を13の特徴と2つの経過日で比較検討した。
GBM患者生存の予後因子のトップ3はMGMT遺伝子プロモーター,切除範囲,年齢であった。
論文 参考訳（メタデータ） (2021-08-30T07:56:34Z) - MedGPT: Medical Concept Prediction from Clinical Narratives [0.23488056916440858]
患者の医療履歴の時間的モデリングは、将来の出来事を予測するのに使用できる。
名前付きエンティティ認識とリンクツールを用いたトランスフォーマーベースのパイプラインであるMedGPTを提案する。
本モデルでは, 医療用多選択肢質問応答タスクを用いて, 医療知識を抽出し, 評価を行った。
論文 参考訳（メタデータ） (2021-07-07T10:36:28Z) - EventScore: An Automated Real-time Early Warning Score for Clinical
Events [3.3039612529376625]
臨床劣化を示す各種臨床事象の早期予測のための解釈可能なモデルを構築した。
このモデルは2つのデータセットと4つの臨床イベントで評価される。
私達のモデルは手動で記録された特徴を要求しないで完全に自動化することができます。
論文 参考訳（メタデータ） (2021-02-11T11:55:08Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳（メタデータ） (2020-10-22T02:28:11Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳（メタデータ） (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。