論文の概要: Evaluating Pretrained Language Semantics for Structured EHR Prediction Tasks
- arxiv url: http://arxiv.org/abs/2611.17053v1
- Date: Thu, 12 Nov 2026 16:34:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.552321
- Title: Evaluating Pretrained Language Semantics for Structured EHR Prediction Tasks
- Title(参考訳): 構造化EHR予測課題に対する事前学習言語セマンティックスの評価
- Abstract要約: 本研究では,事前訓練した因果言語モデルを用いて,縦方向のEHR予測を行う方法について検討する。
自然言語記述でイベントを表現し、このテキストストリームを使用して、EHR適応型継続事前学習を適用します。
本手法は,MIMIC-IVデータセットの4つの予測課題とCPRDデータセットの膵癌予測を1~12ヶ月の地平線で評価する。
- 参考スコア(独自算出の注目度): 45.39731885483741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured Electronic Health Records (EHR) models typically treat each clinical concept as a dataset-specific token, discarding the natural-language semantics associated with the event. As a result, relationships between concepts must largely be learned from EHR co-occurrence, without directly exploiting any prior semantic knowledge. We investigate how pretrained causal language models can be adapted for longitudinal EHR prediction by developing tEHR. Here, we represent events with their natural language description and use this text stream to apply EHR-adaptive continued pretraining, followed by task-specific discriminative fine-tuning using LoRA, utilising the LLM as a longitudinal patient-encoder. We evaluate this approach across four prediction tasks on the MIMIC-IV dataset and pancreatic cancer prediction on the CPRD dataset at 1 to 12 month horizons, with tEHR using the Mistral-7B-v0.3 backbone achieving the strongest overall performance. Ablations show that performance declines when clinical descriptions are removed or misaligned, when numerical values are omitted, and when either stage of adaptation is removed, while explicit elapsed-time descriptions provide little additional benefit. Analysis of the learned patient representations further reveals clinically coherent structure associated with distinct patterns of disease risk and clinical history.
- Abstract(参考訳): 構造化電子健康記録(EHR)モデルは、通常、各臨床概念をデータセット固有のトークンとして扱い、イベントに関連する自然言語の意味論を捨てる。
結果として、概念間の関係は、事前の意味的知識を直接活用することなく、EHRの共起からほとんど学ばなければならない。
本研究では, tEHR の開発により, 経時的 EHR 予測に事前訓練した因果言語モデルをどのように適用できるかを検討する。
本稿では,それらの自然言語記述でイベントを表現し,このテキストストリームを用いて EHR 適応型継続事前訓練を適用し,続いて LoRA を用いたタスク固有識別微調整を行い,LLM を縦型患者エンコーダとして利用する。
提案手法は,MIMIC-IVデータセットの4つの予測課題とCPRDデータセットの膵癌予測を1~12ヶ月の地平線で評価する。
アブレーションは, 臨床記述が削除されたり, 一致しなかったり, 数値が省略されたり, 適応のいずれの段階も削除されたり, 明示的な経過時間記述は, 追加の利益が得られない場合に, 性能が低下することを示している。
学習した患者表現の分析により、疾患のリスクと臨床の歴史の異なるパターンに関連付けられた臨床的に一貫性のある構造が明らかにされる。
関連論文リスト
- PPG-LM: A Photoplethysmography-Language Model with Multi-Level Clinical Alignment [53.74326467982444]
Photoplethysmography (Photoplethysmography)は、臨床モニターや消費者向けウェアラブルによって広く記録されている。
PPG-LMは,ERHで捉えた信号由来の監督とより広い臨床状況から生理的表現を学習する最初のPPG言語モデルファミリーである。
論文 参考訳(メタデータ) (2026-09-27T12:38:47Z) - PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。
例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
論文 参考訳(メタデータ) (2026-02-27T07:19:23Z) - Systematic Comparative Analysis of Large Pretrained Language Models on Contextualized Medication Event Extraction [0.3670422696827525]
CMED(Contextualized Medication Event dataset)は、構造化されていないEHRと注釈付きノートのデータセットである。
臨床データに基づいて事前訓練されたモデルは、薬物や薬物の事象を検出するのにより効果的である。
一般ドメインデータに基づいて事前訓練したバートベースは、医薬品に関連する事象の文脈を分類するのに最も効果的であることが判明した。
論文 参考訳(メタデータ) (2025-09-23T16:48:28Z) - Bridging Electronic Health Records and Clinical Texts: Contrastive Learning for Enhanced Clinical Tasks [0.0]
本稿では,構造化EHRデータの潜在表現を非構造化放電要約ノートと整合させるフレームワークを提案する。
ペアのEHRとテキストの埋め込みをまとめて、障害のないものを分解する。
その結果,臨床ノートからEHRベースのパイプラインにドメイン知識を統合する効果が示された。
論文 参考訳(メタデータ) (2025-05-23T09:04:49Z) - Temporal Entailment Pretraining for Clinical Language Models over EHR Data [9.584923572354045]
臨床領域における言語モデルのための新しい時間的包含事前学習目標を提案する。
本手法は, EHRセグメントを時間的に順序付けられた文対として定式化し, 後の状態が先行状態に関係しているか, 矛盾しているか, 中立であるかを決定するようモデルを訓練する。
論文 参考訳(メタデータ) (2025-04-25T07:30:38Z) - Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳(メタデータ) (2023-07-19T12:35:09Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳(メタデータ) (2022-12-17T23:29:14Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳(メタデータ) (2020-09-24T00:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。