論文の概要: LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC
- arxiv url: http://arxiv.org/abs/2610.12407v1
- Date: Thu, 08 Oct 2026 17:46:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.236742
- Title: LeWAM: A JEPA World Action Model with Diffusion-Steering-Based MPC
- Title(参考訳): LeWAM:Deffusion-Steering-based MPCを用いたJEPAワールドアクションモデル
- Abstract要約: 本稿では, 前方, 後方, 逆ダイナミクス, 政策予測のための変換器LeWAMを紹介する。
LeWAMはデコーダフリーのJEPである。
- 参考スコア(独自算出の注目度): 44.98312206890176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World action models (WAMs) predict actions and future observations, typically from a reconstruction-based representation that carries noisy, redundant information which can complicate downstream predictions. We introduce LeWAM, a bidirectional transformer for forward, backward, inverse dynamics and policy prediction, on a decoder-free JEPA latent trained end-to-end through all four modes. We see the following benefits: 1) Alignment: linear probes read robot and object state from LeWAM's latent better than from a regular Le World Model (a forward-only JEPA world model), while the latent ignores visual distractors as well as LeWM does and far better than a reconstruction-based WAM. 2) Acting: Closed-loop evaluations of LeWAM match a regular flow-matching policy trained on the same encoder at matched size, while also providing a world model. 3) Planning: Sampling raw actions when planning with WAMs lets MPC exploit dynamics-model inaccuracies; planning in the noise space of the policy head instead improves the closed-loop performance of these WAMs.
- Abstract(参考訳): ワールドアクションモデル(WAM)は、通常、下流の予測を複雑にする、ノイズの多い冗長な情報を運ぶ再構成ベースの表現から、アクションと将来の観測を予測する。
我々は,デコーダフリーのJEP上で,前方,後方,逆ダイナミクス,ポリシー予測のための双方向トランスフォーマーであるLeWAMを紹介した。
メリットは次のとおりです。
1)リニアプローブは通常のLe World Model(フォワードオンリーのJEPAワールドモデル)よりも、LeWAMの潜伏状態からロボットと物体の状態を読み取るのに対して、潜伏者は視覚的邪魔を無視し、LeWMは再構築ベースのWAMよりもはるかに優れている。
2) 動作:LWAMの閉ループ評価は,同一エンコーダ上で訓練された通常のフローマッチングポリシーと一致し,同時に世界モデルも提供する。
3) 計画: WAMによる計画時の生の動作のサンプリングにより, MPC は動的モデル不正確さを活用でき, 方針ヘッドの騒音空間における計画は, 代わりにこれらの WAM の閉ループ性能を向上させる。
関連論文リスト
- What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling [60.33876128319945]
世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。
WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。
提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
論文 参考訳(メタデータ) (2026-09-28T11:56:57Z) - Latent evolving World Action Model [58.32634534358966]
世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。
本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。
LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
論文 参考訳(メタデータ) (2026-09-23T07:22:43Z) - Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization [32.65135632960651]
JEPA(Joint-Embedding Predictive Architecture)の世界モデルは、予測と計画をサポートする世界のコンパクトな潜在表現を学ぶ。
物理制御パラメータを時間モデルに供給することにより,LeWorldModelフレームワークを拡張したSemiGroup-JEPAを提案する。
我々は、同じ物理法則に従うにもかかわらず、定性的に異なる力学を示す異なる重力場の下で動的タスクを設計する。
論文 参考訳(メタデータ) (2026-09-09T17:08:13Z) - JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。
遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。
LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
論文 参考訳(メタデータ) (2026-08-10T09:57:54Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳(メタデータ) (2026-08-09T08:02:49Z) - Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models [24.27863433568267]
本稿では,ビデオジェネレータを用いたWAMのポストトレーニング手法であるRobust-WAMを提案する。
学習可能な問合せトークンを用いて、将来の接地木フレームのセマンティックフォアフォアに出力された隠れ状態を調整することで、未来のセマンティクスをアクションストリームに組み込む。
分布外一般化シミュレーションベンチマークおよび実ロボット設定実験により、ロバストWAMは分布内性能を犠牲にすることなく、複数のWAMベースラインの成功率を一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-08-06T11:31:56Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳(メタデータ) (2026-05-11T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。