論文の概要: EHRAdapt: Adapting Pretrained Language Models to Electronic Health Records with Semantic Priors for Rare Clinical Events

• arxiv url: http://arxiv.org/abs/2609.34007v1
• Date: Sun, 27 Sep 2026 23:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:51:53.172081
• Title: EHRAdapt: Adapting Pretrained Language Models to Electronic Health Records with Semantic Priors for Rare Clinical Events
• Title（参考訳）: エレクトロニック・ヘルス・レコードに事前学習した言語モデルにセマンティック・プライドを適応させるEHRAdapt
• Abstract要約: EHRAdaptは,凍結した言語モデルの埋め込み空間に直接マップするアダプタである。 モダリティは学習された埋め込みを受け、学習された注意バイアスを通じて時間ギャップが入り、イベントコードは専用のベクトルを受け取る。 EHRAdaptは、すべてのバックボーンでホールドアウトされた次のイベント予測において、すべてのアブレーションを上回ります。
• 参考スコア（独自算出の注目度）: 2.848188644394575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electronic health records (EHRs) encode clinical histories as (time, modality, code) tuples, whereas pretrained language models expect text tokens. Serializing them as text inflates sequence length and redundantly encodes structure. We introduce EHRAdapt, an adapter that maps tuples directly into a frozen language model's embedding space. Modality receives a learned embedding, time gaps enter through learned attention biases, and event codes receive dedicated vectors. Learning event vectors is the central challenge: clinical vocabularies are long-tailed, leaving rare events too few observations for reliable estimates. EHRAdapt therefore represents each event vector as the sum of a semantic prior and an evidence residual. The prior is a frozen embedding of the event's clinical description from a biomedical language model trained on clinical ontologies, mapped into the model's input space by a shared learned projection, so it supplies clinical meaning even when observations are scarce. The residual, a learned low-rank event-specific correction, refines it as evidence accumulates. We run continued pretraining on about 4 million patients' records with three frozen LLM backbones (OLMo2 1B, Llama3.2 1B, and OLMo2 7B), training only the adapter (0.1--0.6% of all parameters). The full adapter outperforms all ablations in held-out next-event prediction on every backbone. Removing the semantic pathway hurts rare events over ten times more than the most frequent ones, whereas removing the residual hurts overall prediction but improves it for the rarest events. On reportable infectious-disease and syndromic downstream classification tasks, EHRAdapt outperforms text-based LLM and count-based baselines, and both pathways improve rare-disease discrimination. The two pathways therefore play complementary roles, visible only when results are broken down by event frequency rather than averaged.
• Abstract（参考訳）: 電子健康記録(EHR)は、臨床履歴を(時間、モダリティ、コード)タプルとしてエンコードするが、事前訓練された言語モデルはテキストトークンを期待する。 それらをテキストとしてシリアライズすることはシーケンスの長さを膨らませ、構造を冗長にエンコードする。 EHRAdaptは、タプルを直接凍結した言語モデルの埋め込み空間にマッピングするアダプタである。 モダリティは学習された埋め込みを受け、学習された注意バイアスを通じて時間ギャップが入り、イベントコードは専用のベクトルを受け取る。 臨床語彙は長い尾を持ち、信頼性のある推定のために観測される頻度は希少である。 したがって EHRAdapt は、各事象ベクトルを意味的先行と証拠残余の和として表す。 前者は、臨床オントロジーに基づいて訓練されたバイオメディカル言語モデルから、イベントの臨床的記述を凍結した埋め込みで、共有された学習プロジェクションによってモデルの入力空間にマッピングされ、観察が不十分な場合でも臨床的意味を提供する。 学習された低ランクのイベント固有の補正である残基は、証拠が蓄積されるにつれてそれを洗練する。 LLMバックボーン3本(OLMo2 1B, Llama3.2 1B, OLMo2 7B)で約400万件の患者を事前訓練し, アダプタ(全パラメータの0.1～0.6%)のみをトレーニングした。 フルアダプタは、すべてのバックボーンにおいて、ホールドアウトされた次のイベント予測において、すべてのアブレーションを上回ります。 意味経路の除去は、最も頻繁な事象の10倍の頻度で稀な事象を害する一方、残余の除去は全体的な予測を損なうが、最も稀な事象に対して改善する。 EHRAdaptは、感染性疾患およびシナドロミック下流分類タスクにおいて、テキストベースのLLMとカウントベースのベースラインを上回り、どちらの経路も希少な疾患の識別を改善する。 したがって、2つの経路は相補的な役割を担い、結果が平均ではなく事象頻度によって分解されるときにのみ見える。

関連論文リスト

• PORTER: Language-Grounded Event Representations for Portable Structured EHR Foundation Models [0.27998963147546146]
  固定語彙からイベント表現を分離する構造付きEHR基盤モデルである PortER を導入する。 ポーターは、凍結したテキストエンコーダを使用して記述を通じてイベントを表現し、専用の経路を通じて数値値を統合し、患者のタイムラインを通して臨床力学を学ぶ。 ポーターはタスク固有のテキストシリアライゼーションよりも高いAUROCを実現し、329倍のアモルティフィケーション計算を実現した。
  論文  参考訳（メタデータ） (2026-06-23T03:33:25Z)
• EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records [1.8268488712787334]
  EHRファウンデーションモデルであるEveryQueryを導入し、タスク条件付き事前トレーニングを通じてゼロショット推論を実現する。 EveryQueryは、ランダムにサンプリングされたクエリタスクと患者コンテキストの組み合わせを事前学習することで、この機能を実現する。 MIMIC-IVでは、EveryQueryは39のランダムサンプリング予測タスクのうち82%で自己回帰ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-09T02:45:22Z)
• Cross-Representation Benchmarking in Time-Series Electronic Health Records for Clinical Outcome Prediction [44.23284500920266]
  このベンチマークは、2つの異なる臨床環境におけるデータキュレーションと評価を標準化する。 実験によると、イベントストリームモデルは、常に最強のパフォーマンスを提供する。 特徴選択戦略は臨床環境に適応する必要がある。
  論文  参考訳（メタデータ） (2025-10-10T09:03:47Z)
• Analyzing and Mitigating Object Hallucination: A Training Bias Perspective [108.09666587800781]
  我々は,LVLMのトレーニングデータから,特定の対象を隠蔽した反ファクト画像からなる新しいベンチマークPOPEv2を提案する。 現在のLVLMはトレーニングバイアスに悩まされており、トレーニングデータを完全に活用できず、トレーニング中に見られる画像に対してより頻繁に幻覚を与えることができません。 Obliviateは,学習バイアスアンラーニングによる物体幻覚の軽減を目的とした,効率的で軽量な未学習手法である。
  論文  参考訳（メタデータ） (2025-08-06T15:51:02Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• An End-to-End Framework For Universal Lesion Detection With Missing Annotations [24.902835211573628]
  そこで本研究では,検出器を同時に訓練しながら,ラベルのない病変をマイニングするための新しいエンドツーエンドフレームワークを提案する。 本研究の枠組みは,高信頼度予測と,学生モデル学習のための部分的にラベル付けされた基礎的真理が組み合わさっている。
  論文  参考訳（メタデータ） (2023-03-27T09:16:10Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• MSED: a multi-modal sleep event detection model for clinical sleep analysis [62.997667081978825]
  ポリソムノグラムで睡眠イベントを共同検出する,単一のディープニューラルネットワークアーキテクチャを設計した。 モデルの性能は,F1,精度,リコールスコア,および指標値と臨床値との相関で定量化した。
  論文  参考訳（メタデータ） (2021-01-07T13:08:44Z)
• Curriculum learning for improved femur fracture classification: scheduling data with prior knowledge and uncertainty [36.54112505898611]
  畳み込みニューラルネットワーク(CNN)を用いた大腿骨近位部骨折の3および7AOクラスへの自動分類法を提案する。 我々の新しい定式化は、トレーニングサンプルを個別に重み付けし、トレーニングセットを再順序付けし、データのサブセットをサンプリングする3つのカリキュラム戦略を再結合する。 このカリキュラムは、経験豊富な外傷外科医のパフォーマンスまで、大腿骨近位部骨折分類を改善している。
  論文  参考訳（メタデータ） (2020-07-31T14:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。