論文の概要: Are Joint-Embedding Predictive Objectives Effective for Longitudinal EHRs?

• arxiv url: http://arxiv.org/abs/2610.29528v1
• Date: Wed, 21 Oct 2026 10:18:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.243777
• Title: Are Joint-Embedding Predictive Objectives Effective for Longitudinal EHRs?
• Title（参考訳）: 関節埋め込み予測対象は縦型 EHR に有効か?
• Abstract要約: JEPA(Joint-Embedding Architectures)は、潜在空間における表現を予測することで学習するアーキテクチャである。 JEPA(Joint-Embedding Architectures)は、潜在空間における表現を予測することで学習するアーキテクチャである。
• 参考スコア（独自算出の注目度）: 45.39731885483741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked language modelling (MLM) is the dominant pretraining objective for transformer encoders applied to longitudinal electronic health records (EHRs). However, reconstructing individual events may overemphasise noisy or weakly informative observations and does not explicitly encourage learning higher-level patient states. Joint-Embedding Predictive Architectures (JEPAs) instead learn by predicting representations in latent space and have shown strong performance in a variety of domains. In this paper, we investigate to what extent JEPA can be adapted to EHR sequence representation. Our empirical investigation using MIMIC-IV shows that although all three of our JEPA formulations train stably without representational collapse, they consistently underperform standard MLM. We find that target size, not target heterogeneity, increases prediction error, yet reducing the target size does not recover downstream performance. This suggests that stable latent prediction alone is insufficient for competitive EHR representation learning and highlights the challenge of defining clinically meaningful latent targets for EHR.
• Abstract（参考訳）: Masked Language Modelling (MLM) は、経時的電子健康記録(EHR)に適用されるトランスフォーマーエンコーダのトレーニング対象である。 しかし、個々の事象の再構成は、ノイズや弱い情報的な観察を過度に強調し、より高いレベルの患者状態の学習を明示的に奨励するものではない。 JEPA(Joint-Embedding Predictive Architectures)は、潜在空間における表現を予測することによって学習し、さまざまな領域で高いパフォーマンスを示している。 本稿では,JEPA が EHR シーケンス表現にどの程度適応できるかを検討する。 MIMIC-IVを用いた実証調査の結果,JEPAの3つの定式化は,表現的崩壊を伴わずに安定的に訓練されるが,標準MLMは一貫して性能が劣っていることがわかった。 ターゲットサイズは不均一ではなく,予測誤差を増大させるが,目標サイズを小さくしても下流の性能は回復しない。 このことは、安定した潜伏予測だけでは競争力のあるEHR表現学習には不十分であり、EHRの臨床的に有意義な潜伏目標を定義するという課題を強調していることを示している。

関連論文リスト

• Masked and Predictive Self-Supervised Foundation Models for 3D Brain MRI [0.0]
  MRIによる疾患検出のための2つの自己教師型事前訓練パラダイムについて検討した。 我々は,新しいスペクトル領域再構成損失をMAEに導入することで,補助目標の役割について検討する。 本研究は,医療基盤モデル事前トレーニングにおける自己指導型客観的デザインの重要性を浮き彫りにしたものである。
  論文  参考訳（メタデータ） (2026-06-11T13:09:59Z)
• UWM-JEPA: Predictive World Models That Imagine in Belief Space [0.2864713389096699]
  本稿では,JEPAの世界モデルであるUnitary World Model JEPAを紹介した。 この構造はロールアウト中に関節状態スペクトルを正確に保存するため、予測器自体が表現された不確かさを解消することはできない。 JEPAの世界モデルでは、部分的な可観測性、潜伏幾何学、予測力学が重要であり、フリーズされたコンテキストエンコーディング能力だけではありません。
  論文  参考訳（メタデータ） (2026-05-25T00:28:51Z)
• EviCare: Enhancing Diagnosis Prediction with Deep Model-Guided Evidence for In-Context Reasoning [62.61394722212386]
  EviCareは、大規模言語モデルにディープモデルガイダンスを統合する、コンテキスト内推論フレームワークである。 LLMのみのベースラインと深層モデルのみのベースラインを2つの実世界のEHRベンチマークで連続的に上回っている。
  論文  参考訳（メタデータ） (2026-04-12T04:35:14Z)
• Heuristic-inspired Reasoning Priors Facilitate Data-Efficient Referring Object Detection [53.988759250627425]
  HeROD(Heuristic-inspired ROD)は、明示的で解釈可能な空間的および意味的推論を注入する軽量でモデルに依存しないフレームワークである。 HeRODは、スカーセラベル体制において強い接地ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-25T10:33:22Z)
• PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
  PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。 例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
  論文  参考訳（メタデータ） (2026-02-27T07:19:23Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• One Loss to Rule Them All: Marked Time-to-Event for Structured EHR Foundation Models [12.630229861635476]
  我々はイベントのタイミングと関連する測定値を共同でモデル化する時間とイベントの事前学習対象であるORAを提案する。 EHR構造を考慮した事前学習は、下流の能力と一般化可能性の拡大に不可欠である。
  論文  参考訳（メタデータ） (2026-01-31T06:15:46Z)
• An MLI-Guided Framework for Subgroup-Aware Modeling in Electronic Health Records (AdaptHetero) [0.18416014644193068]
  AdaptHeteroは、解釈可能性の洞察を実行可能なガイダンスに変換する、新しいMLI駆動のフレームワークである。 AdaptHeteroは、ICU死亡率、院内死亡率、隠された低酸素症を予測するための不均一なモデル挙動を一貫して明らかにしている。
  論文  参考訳（メタデータ） (2025-07-28T04:37:03Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Prompting Large Language Models for Zero-Shot Clinical Prediction with Structured Longitudinal Electronic Health Record Data [7.815738943706123]
  大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。 本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。 EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
  論文  参考訳（メタデータ） (2024-01-25T20:14:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。