Fugu-MT 論文翻訳(概要): Temporal Entailment Pretraining for Clinical Language Models over EHR Data

論文の概要: Temporal Entailment Pretraining for Clinical Language Models over EHR Data

arxiv url: http://arxiv.org/abs/2504.18128v1
Date: Fri, 25 Apr 2025 07:30:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:53.673228
Title: Temporal Entailment Pretraining for Clinical Language Models over EHR Data
Title（参考訳）: EHRデータを用いた臨床言語モデルの時間的訓練
Authors: Tatsunori Tanaka, Fi Zheng, Kai Sato, Zhifeng Li, Yuanyun Zhang, Shi Li,
Abstract要約: 臨床領域における言語モデルのための新しい時間的包含事前学習目標を提案する。本手法は, EHRセグメントを時間的に順序付けられた文対として定式化し, 後の状態が先行状態に関係しているか, 矛盾しているか, 中立であるかを決定するようモデルを訓練する。
参考スコア（独自算出の注目度）: 9.584923572354045
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clinical language models have achieved strong performance on downstream tasks by pretraining on domain specific corpora such as discharge summaries and medical notes. However, most approaches treat the electronic health record as a static document, neglecting the temporally-evolving and causally entwined nature of patient trajectories. In this paper, we introduce a novel temporal entailment pretraining objective for language models in the clinical domain. Our method formulates EHR segments as temporally ordered sentence pairs and trains the model to determine whether a later state is entailed by, contradictory to, or neutral with respect to an earlier state. Through this temporally structured pretraining task, models learn to perform latent clinical reasoning over time, improving their ability to generalize across forecasting and diagnosis tasks. We pretrain on a large corpus derived from MIMIC IV and demonstrate state of the art results on temporal clinical QA, early warning prediction, and disease progression modeling.
Abstract（参考訳）: 臨床言語モデルは、放電サマリーや医療ノートなどの領域固有のコーパスを事前訓練することで、下流タスクにおいて高いパフォーマンスを達成している。しかし、ほとんどのアプローチは、電子的健康記録を静的な文書として扱い、患者の軌跡の時間的進化と因果的絡み合いを無視する。本稿では,臨床領域における言語モデルのための新しい時間的包含事前学習目標について紹介する。本手法は, EHRセグメントを時間的に順序付けられた文対として定式化し, 後の状態が先行状態に関係しているか, 矛盾しているか, 中立であるかを決定するようモデルを訓練する。この時間的に構造化された事前訓練タスクを通じて、モデルは時間とともに潜伏する臨床推論を行うことを学び、予測タスクと診断タスクをまたいで一般化する能力を向上させる。我々はMIMIC IV由来の大型コーパスを事前訓練し, 時間的臨床QA, 早期警戒予測, および疾患進行モデルに関する最先端の成果を示した。

関連論文リスト

Zero-shot Medical Event Prediction Using a Generative Pre-trained Transformer on Electronic Health Records [8.575985305475355]
EHRで訓練された基礎モデルはゼロショット方式で予測タスクを実行できることを示す。広範囲なラベル付きデータを必要とする教師付きアプローチとは違って,本手法では,事前学習した知識から,次の医療イベントを純粋に予測することができる。
論文参考訳（メタデータ） (2025-03-07T19:26:47Z)
Memorize and Rank: Elevating Large Language Models for Clinical Diagnosis Prediction [10.403187385041702]
本稿では,自然言語知識と医療実践を橋渡しする臨床診断予測モデルMERAを紹介する。疾患候補ランキングリストに階層的コントラスト学習を適用し,大規模な意思決定空間の問題を軽減する。
論文参考訳（メタデータ） (2025-01-28T22:38:45Z)
Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。時間間隔推定を組み込んだ拡散モデルである。我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文参考訳（メタデータ） (2024-06-20T02:20:23Z)
Intensive Care as One Big Sequence Modeling Problem [1.6114012813668932]
本稿では、患者と医療提供者とのインタラクションをイベントストリームとして表現する、シーケンスモデリングとしてのヘルスケアのパラダイムを提案する。我々はMIMIC-IVデータセットから一様イベントストリームフォーマットに異種臨床記録を変換したシーケンスモデリングベンチマークMIMIC-SEQを開発した。
論文参考訳（メタデータ） (2024-02-27T13:36:55Z)
Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。深層学習は、医療を含む様々な応用においてその優位性を示している。
論文参考訳（メタデータ） (2024-02-02T00:31:01Z)
CPLLM: Clinical Prediction with Large Language Models [0.07083082555458872]
本稿では,臨床疾患に対するLLM(Pre-trained Large Language Model)の微調整と寛容予測を行う手法を提案する。診断予測には,患者の来訪時に対象疾患と診断されるか,その後に診断されるかを,過去の診断記録を利用して予測する。提案手法であるCPLLMは,PR-AUCおよびROC-AUCの指標で試験された全てのモデルを上回ることを示した。
論文参考訳（メタデータ） (2023-09-20T13:24:12Z)
Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。今回,最も多い患者,すなわち30日間の寛解率について検討した。
論文参考訳（メタデータ） (2022-11-13T01:07:23Z)
SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
論文参考訳（メタデータ） (2021-08-31T08:23:56Z)
Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal Health Event Prediction [13.24834156675212]
本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
論文参考訳（メタデータ） (2021-06-09T00:42:44Z)
Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
論文参考訳（メタデータ） (2021-02-08T10:26:44Z)
MIA-Prognosis: A Deep Learning Framework to Predict Therapy Response [58.0291320452122]
本稿では,患者の予後と治療反応を予測するための統合型深層学習手法を提案する。我々は,マルチモーダル非同期時系列分類タスクとして,確率モデリングを定式化する。我々の予測モデルは、長期生存の観点から、低リスク、高リスクの患者をさらに階層化する可能性がある。
論文参考訳（メタデータ） (2020-10-08T15:30:17Z)
BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文参考訳（メタデータ） (2020-09-24T00:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。