論文の概要: Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models

• arxiv url: http://arxiv.org/abs/2605.09241v1
• Date: Sun, 10 May 2026 00:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.13859
• Title: Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models
• Title（参考訳）: サブJEPA: 安定な終端世界モデルのための部分空間ガウス正規化
• Abstract要約: JointEmbedding Predictive Architectures (JEPA)は、将来の潜伏表現を予測することで、世界モデルを学ぶためのシンプルなフレームワークを提供する。 最近のLeWorldModel (LeWM) は、この問題を、同型ガウス先行の埋め込みを単純に制限することで緩和できることを示している。 元の埋め込み空間ではなく、複数のランダム部分空間にガウス的制約を適用することにより、バイアス分散フロンティア上の有利な操作点を求めるameを提案する。
• 参考スコア（独自算出の注目度）: 26.928611870426383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) provide a simpleframework for learning world models by predicting future latent representations.However, JEPA training is subject to a bias-variance tradeoff.Without sufficient structural constraints, excessive representationalvariance causes the model to collapse to trivial solutions.The recent LeWorldModel (LeWM) shows that this issue can be alleviated bysimply constraining latent embeddings with an isotropic Gaussian prior.However, latent representations inherently lie on low-dimensional manifoldswithin a high-dimensional ambient space, and enforcing an isotropic Gaussianprior directly in this ambient space introduces an overly strong bias.In this work, we propose ame, which seeks a favorable operatingpoint on the bias-variance frontier by applying Gaussian constraints inmultiple random subspaces rather than in the originalembedding space.This design relaxes the global constraint while preserving itsanti-collapse effect, leading to a better balance between trainingstability and representation flexibility.Extensive experiments across fourcontinuous-control environments demonstrate that consistentlyoutperforms LeWM with very clear margins.Our method is simple yet effective, and serves as a strong baseline for future JEPA-based world model research.fdefinedeeemodeThe code is available at https://github.com/intcomp/Sub-JEPA.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、将来の潜伏表現を予測することによって、世界モデルを学習するためのシンプルなフレームワークを提供する。しかしながら、JEPAトレーニングはバイアス分散トレードオフの対象となっている。十分な構造的制約がなければ、過剰な表現分散がモデルを崩壊させる。最近のLeWorldModel(LeWM)は、この問題を、非対称なガウシアンな埋め込みをシンプルに制限することで緩和可能であることを示している。しかしながら、潜伏表現は本質的に低次元の多様体上に存在し、高次元の周囲空間に固有の等方的ガウシアンプレプタをこの空間に直接適用することは、過度に強いバイアスを生じさせる。この研究では、前向きの制約を適用することよりも、前向きの制約を適用することを求める。

関連論文リスト

• Flow-JEPA: Flow Matching for Robust Latent Dynamics in JEPA World Models [18.035166689862205]
  JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな予測表現を学習する強力な可能性を示している。 本研究では,現在の観測と動作を条件とした将来の潜伏状態列を共同生成する条件付き流れマッチング力学モデルであるFlow-JEPAを提案する。
  論文  参考訳（メタデータ） (2026-08-29T03:40:06Z)
• UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling [24.745715007832953]
  JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな潜在空間における世界モデルの自己教師型学習のためのフレームワークとして登場した。 我々は,光度予測(画像レベルの変換)と時間的予測(映像レベルの次状態ダイナミクス)を協調的に学習する統合JEPAであるUniJEPAを提案する。
  論文  参考訳（メタデータ） (2026-08-07T16:55:58Z)
• Learning Spatio-Temporal Foundation Models from Pure Synthetic Data [85.23980441738811]
  NeoSTは、現実バイアスに対するスケーラブルな合成学習コーパスであり、複数の将来の軌跡を反復的に生成・洗練する潜在空間推論アーキテクチャであり、構造的ダイナミクスを強調し、分散シフトの下で推論時間補正を可能にする潜在空間目的である。 様々な実世界のベンチマークによる大規模な実験は、NeoSTが様々な実世界の時間系において既存のSTFMより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2026-06-27T02:56:46Z)
• UWM-JEPA: Predictive World Models That Imagine in Belief Space [0.2864713389096699]
  本稿では,JEPAの世界モデルであるUnitary World Model JEPAを紹介した。 この構造はロールアウト中に関節状態スペクトルを正確に保存するため、予測器自体が表現された不確かさを解消することはできない。 JEPAの世界モデルでは、部分的な可観測性、潜伏幾何学、予測力学が重要であり、フリーズされたコンテキストエンコーディング能力だけではありません。
  論文  参考訳（メタデータ） (2026-05-25T00:28:51Z)
• Language Generation as Optimal Control: Closed-Loop Diffusion in Latent Control Space [99.30250506439678]
  本研究は,言語生成を最適制御問題として再検討する。 自己回帰モデルと拡散モデルを分析するための統一された理論的な視点を提供する。
  論文  参考訳（メタデータ） (2026-05-14T08:13:43Z)
• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
  視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。 本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:59:42Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)
• VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models [0.0]
  EmphVariational JEPA (VJEPA) はテキスト確率論的な一般化であり、変動目的を通して将来の潜伏状態の予測分布を学習する。 VJEPA表現は、画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。 我々は、予測的信念を学習力学の専門家とモジュラー事前専門家に分解する拡張であるEmphBayesian JEPA (BJEPA)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T18:04:16Z)
• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• Latent Iterative Refinement Flow: A Geometric-Constrained Approach for Few-Shot Generation [5.062604189239418]
  少ショット生成に対する新しいアプローチであるLIRF(Latent Iterative Refinement Flow)を導入する。 LIRFは,新しいtextbfmanifold保存損失をトレーニングしたオートエンコーダを用いて,安定な潜伏空間を確立する。 このサイクルの中で、候補サンプルは幾何的テクスチャ補正演算子によって洗練される。
  論文  参考訳（メタデータ） (2025-09-24T08:57:21Z)
• Multi-Agent Path Finding in Continuous Spaces with Projected Diffusion Models [57.45019514036948]
  MAPF(Multi-Agent Path Finding)は、ロボット工学における基本的な問題である。 連続空間におけるMAPFの拡散モデルと制約付き最適化を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T21:27:19Z)
• Denoising with a Joint-Embedding Predictive Architecture [21.42513407755273]
  私たちはD-JEPA(Joint-Embedding Predictive Architecture)でDenoisingを紹介します。 本稿では,JEPAをマスク画像モデリングの一形態として認識することにより,一般化した次世代予測戦略として再解釈する。 また,拡散損失を利用して確率分布をモデル化し,連続空間におけるデータ生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:57:10Z)
• To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs [10.611727286504994]
  AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。 我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
  論文  参考訳（メタデータ） (2020-06-10T14:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。