論文の概要: LeWAM: End-to-End World and Action Modeling with JEPAs
- arxiv url: http://arxiv.org/abs/2610.12818v1
- Date: Thu, 08 Oct 2026 23:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.323179
- Title: LeWAM: End-to-End World and Action Modeling with JEPAs
- Title(参考訳): LeWAM: JEPAsによるエンド・ツー・エンドの世界とアクション・モデリング
- Abstract要約: 共同埋め込み予測アーキテクチャ (JEPA) は画素再構成なしでコンパクトな潜在世界モデルを学習する。
制御のためのエンドツーエンドJEPAであるLeWAMを紹介する。(1)次の潜伏状態予測と行動フローマッチングに対する共同トレーニング目標,(2)潜伏状態に対する等方的ガウス的制約。
ビジュアルプランニングにおける以前のJEPAと比較して、LeWAMは、コンタクトリッチタスクで28.6%から89.7%、ロングホライゾンタスクで10.9%から46.2%に改善し、32.3倍の速度で計画している。
- 参考スコア(独自算出の注目度): 18.63984847602804
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint-embedding predictive architectures (JEPAs) learn compact latent world models without pixel reconstruction. Existing JEPA pipelines typically train visual representations and action-conditioned dynamics before adding a control policy or solver. We introduce LeWAM, an end-to-end JEPA for control with: (1) a joint training objective over next latent state prediction and action flow matching, and (2) an isotropic Gaussian constraint on the latent state, enabling a single model to support direct policy execution and efficient planning by evaluating sampled actions with its learned latent dynamics. Compared with prior JEPAs in visual planning, LeWAM improves success rate from 28.6% to 89.7% on contact-rich tasks and from 10.9% to 46.2% on long-horizon tasks, and plans 32.3 times faster. On behavior cloning tasks in simulation and physical robots, LeWAM is also competitive with established methods. Interpretability analyses show that LeWAM learns control-relevant representations and action distributions effectively guiding test-time planning and control.
- Abstract(参考訳): 共同埋め込み予測アーキテクチャ (JEPA) は画素再構成なしでコンパクトな潜在世界モデルを学習する。
既存のJEPAパイプラインは通常、コントロールポリシやソルバを追加する前に、視覚表現とアクション条件付きダイナミクスをトレーニングする。
本稿では,(1)次の潜伏状態予測と行動フローマッチングに対する共同トレーニング目標,(2)潜伏状態に対する等方的ガウス的制約,および(2)学習された潜伏状態のダイナミックスを用いてサンプルされた動作を評価することで,単一モデルによる直接的な政策実行と効率的な計画を支援することを可能とする。
ビジュアルプランニングにおける以前のJEPAと比較して、LeWAMは、コンタクトリッチタスクで28.6%から89.7%、ロングホライゾンタスクで10.9%から46.2%に改善し、32.3倍の速度で計画している。
シミュレーションおよび物理ロボットにおける行動クローニングタスクにおいて、LeWAMは確立された手法と競合する。
解釈可能性分析により、LeWAMは、テスト時間計画と制御を効果的に導く制御関連表現と行動分布を学習することを示した。
関連論文リスト
- Latent evolving World Action Model [58.32634534358966]
世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。
本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。
LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
論文 参考訳(メタデータ) (2026-09-23T07:22:43Z) - JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。
遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。
LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
論文 参考訳(メタデータ) (2026-08-10T09:57:54Z) - Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control [8.39933163242427]
JEPAsは、ピクセルを再構築するのではなく、表現空間で予測することで世界モデルを学ぶ。
以前のJEPAプランナーは、しばしば埋め込み幾何学(典型的には遅れたユークリッド距離)からランキングを継承する。
本稿では,LWMエンコーダのバックボーンを保持するテンポラルディスタンスJEPAを提案する。
論文 参考訳(メタデータ) (2026-07-28T06:38:16Z) - Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives [0.0]
JEPA(Joint-Embedding Predictive Architectures)は、自己教師型ビデオ表現学習のための有望なフレームワークである。
我々は,2つの事前訓練体制におけるビデオJEPAの18種類の補助的目的変動について,小規模な実証的研究を行った。
論文 参考訳(メタデータ) (2026-05-16T21:30:51Z) - Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。
提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。
提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
論文 参考訳(メタデータ) (2026-04-13T17:25:41Z) - Enhancing Policy Learning with World-Action Model [4.941630596191806]
World-Action Model (WAM) は行動規則化された世界モデルであり、将来の視覚的観察と状態遷移を駆動する行動について共同で理由を定めている。
WAMは、遅延状態遷移からアクションを予測するDreamerV2に、逆ダイナミクスの目的を組み込んでいる。
我々は、CALVINベンチマークから8つの操作タスクにわたるポリシー学習の強化について、WAMを評価した。
論文 参考訳(メタデータ) (2026-03-30T19:56:05Z) - Value-guided action planning with JEPA world models [44.84158001773079]
環境を推論できるディープラーニングモデルを構築するには、その基盤となるダイナミクスをキャプチャする必要がある。
JEPA(Joint-Embeded Predictive Architectures)は、そのようなダイナミクスをモデル化するための有望なフレームワークを提供する。
本稿では,JEPAワールドモデルを用いて,表現空間を形作ることで計画を強化する手法を提案する。
論文 参考訳(メタデータ) (2025-12-28T20:17:49Z) - ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning [90.41852663775086]
ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。
我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。
実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
論文 参考訳(メタデータ) (2025-01-24T16:41:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。