論文の概要: VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models

• arxiv url: http://arxiv.org/abs/2601.14354v1
• Date: Tue, 20 Jan 2026 18:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.117185
• Title: VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models
• Title（参考訳）: VJEPA:予測アーキテクチャを確率的世界モデルとして組み込んだ変分結合
• Authors: Yongchao Huang,
• Abstract要約: EmphVariational JEPA (VJEPA) はテキスト確率論的な一般化であり、変動目的を通して将来の潜伏状態の予測分布を学習する。 VJEPA表現は、画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。 我々は、予測的信念を学習力学の専門家とモジュラー事前専門家に分解する拡張であるEmphBayesian JEPA (BJEPA)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint Embedding Predictive Architectures (JEPA) offer a scalable paradigm for self-supervised learning by predicting latent representations rather than reconstructing high-entropy observations. However, existing formulations rely on \textit{deterministic} regression objectives, which mask probabilistic semantics and limit its applicability in stochastic control. In this work, we introduce \emph{Variational JEPA (VJEPA)}, a \textit{probabilistic} generalization that learns a predictive distribution over future latent states via a variational objective. We show that VJEPA unifies representation learning with Predictive State Representations (PSRs) and Bayesian filtering, establishing that sequential modeling does not require autoregressive observation likelihoods. Theoretically, we prove that VJEPA representations can serve as sufficient information states for optimal control without pixel reconstruction, while providing formal guarantees for collapse avoidance. We further propose \emph{Bayesian JEPA (BJEPA)}, an extension that factorizes the predictive belief into a learned dynamics expert and a modular prior expert, enabling zero-shot task transfer and constraint (e.g. goal, physics) satisfaction via a Product of Experts. Empirically, through a noisy environment experiment, we demonstrate that VJEPA and BJEPA successfully filter out high-variance nuisance distractors that cause representation collapse in generative baselines. By enabling principled uncertainty estimation (e.g. constructing credible intervals via sampling) while remaining likelihood-free regarding observations, VJEPA provides a foundational framework for scalable, robust, uncertainty-aware planning in high-dimensional, noisy environments.
• Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、高エントロピー観測を再構築するのではなく、潜在表現を予測することで、自己指導型学習のためのスケーラブルなパラダイムを提供する。 しかし、既存の定式化は、確率論的意味論を隠蔽し、確率論的制御における適用性を制限した「textit{deterministic} regression objectives」に依存している。 本稿では,変分的目的を通じて将来の潜伏状態に対する予測的分布を学習する,<textit{probabilistic} 一般化である \emph{Variational JEPA (VJEPA)} を紹介する。 VJEPAは、予測状態表現(PSR)とベイズフィルタリングを併用した表現学習を統一し、逐次モデリングは自己回帰的な観察可能性を必要としないことを示す。 理論的には、VJEPA表現が画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。 さらに、学習力学の専門家とモジュラー事前専門家との予測的信念を分解し、ゼロショットタスク転送と制約(例えば、ゴール、物理学)を専門家の製品を通して実現する拡張である「emph{Bayesian JEPA (BJEPA)}を提案する。 実証実験により, VJEPAとBJEPAは, 生成基線における表現の崩壊を引き起こす高分散ニュアンス障害を除去することに成功した。 VJEPAは、原則化された不確実性推定(例えば、サンプリングによる信頼区間の構築)を可能とし、観測に関する可能性のないままにすることで、高次元のノイズの多い環境において、スケーラブルで堅牢で確実な不確実性を考慮した計画のための基礎的な枠組みを提供する。

関連論文リスト

• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• ScenGAN: Attention-Intensive Generative Model for Uncertainty-Aware Renewable Scenario Forecasting [11.600987173982107]
  本稿では,再生可能エネルギーとディープラーニングの領域における不確実性について考察する。 不確実性認識モデルは、再生可能シナリオ予測のために慎重に設計されている。 処理層における気象情報、予報、歴史的軌跡の統合により、相乗的予測能力が向上する。
  論文  参考訳（メタデータ） (2025-09-21T15:18:51Z)
• Deep Active Inference Agents for Delayed and Long-Horizon Environments [1.693200946453174]
  AIFエージェントは、遅れた環境で悪化する制限である正確な即時予測と徹底的な計画に依存している。 本稿では,複数段階の遅延遷移を特徴とする生成型政治アーキテクチャを提案する。 我々は,遅延と長期化の設定で現実的な産業シナリオを模倣した環境におけるエージェントの評価を行った。
  論文  参考訳（メタデータ） (2025-05-26T11:50:22Z)
• Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning [14.869908713261227]
  Contrastive-JEPAは、画像ベースのジョイントエンベッドディング予測アーキテクチャと可変不変共分散正規化(VICReg)戦略を統合している。 C-JEPAは視覚表現学習の安定性と品質を大幅に向上させる。 ImageNet-1Kデータセットで事前トレーニングされた場合、C-JEPAは線形プローブと微調整パフォーマンスメトリクスの両方において、迅速で改善された収束を示す。
  論文  参考訳（メタデータ） (2024-10-25T13:48:12Z)
• Denoising with a Joint-Embedding Predictive Architecture [21.42513407755273]
  私たちはD-JEPA(Joint-Embedding Predictive Architecture)でDenoisingを紹介します。 本稿では,JEPAをマスク画像モデリングの一形態として認識することにより,一般化した次世代予測戦略として再解釈する。 また,拡散損失を利用して確率分布をモデル化し,連続空間におけるデータ生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:57:10Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。