論文の概要: Spatially Aware World Action Model via Geometric Latent Diffusion
- arxiv url: http://arxiv.org/abs/2609.02531v1
- Date: Wed, 02 Sep 2026 12:42:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.333913
- Title: Spatially Aware World Action Model via Geometric Latent Diffusion
- Title（参考訳）: 幾何学的潜在拡散による空間認識世界行動モデル
- Abstract要約: World Action Models (WAM) は、大規模な事前訓練されたビデオ拡散モデルの能力を活用して、将来の観測とアクションを共同で予測する。
本研究では,共同行動,RGB,深度予測のための事前学習ビデオモデルを再利用した空間認識世界行動モデル(SA-WAM)を提案する。
SA-WAM はRoboCasa と LIBERO-Plus のベンチマークで最先端の結果を達成し、同時に将来の予測を改善する。
- 参考スコア（独自算出の注目度）: 42.13843953705695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World Action Models (WAMs) leverage the capabilities of large-scale pretrained video diffusion models to jointly predict future observations and actions, inheriting rich visual and physical priors from internet-scale video. This has made them a promising paradigm for robot policy learning, yet the prevailing models operate exclusively on RGB observations and do not leverage 3D information. To bridge this gap, we introduce a Spatially Aware World Action Model (SA-WAM), which repurposes a pretrained video model for joint action, RGB, and depth prediction, enabling 3D-aware world modeling and action prediction within a single diffusion backbone. We use a nonlinear encoding that maps the unbounded depth signal into the bounded input domain expected by the frozen VAE tokenizer. This allows us to reuse the tokenizer without 3D-specific fine-tuning, incorporating geometric information without sacrificing the pretrained priors. SA-WAM achieves state-of-the-art results on the RoboCasa and LIBERO-Plus benchmarks, while simultaneously improving future-state predictions. Furthermore, SA-WAM outperforms strong baselines in real-world evaluation using a UR5 robotic arm, with strong gains in randomized environments. We analyze the correlation between world model prediction quality and rollout success, providing insights into WAM performance and avenues for its improvement.
- Abstract（参考訳）: World Action Models (WAM) は、大規模な事前訓練されたビデオ拡散モデルの能力を活用して、将来の観察とアクションを共同で予測し、インターネットスケールのビデオからリッチな視覚的および物理的優先順位を継承する。
これにより、ロボットのポリシー学習には有望なパラダイムとなっているが、一般的なモデルはRGBの観測にのみアクセスでき、3D情報の活用はできない。
このギャップを埋めるために、空間認識世界行動モデル(SA-WAM)を導入し、単一の拡散バックボーン内での3D認識世界モデリングとアクション予測を可能にする。
我々は,非有界深度信号を凍結VAEトークン化器が期待する有界入力領域にマッピングする非線形符号化を用いる。
これにより、事前に訓練された事前情報を犠牲にすることなく、幾何学的情報を組み込んで、3次元特異的な微調整をせずにトークン化を再利用できる。
SA-WAM はRoboCasa と LIBERO-Plus のベンチマークで最先端の結果を達成し、同時に将来の予測を改善する。
さらに, UR5ロボットアームを用いた実世界評価において, SA-WAMは, ランダムな環境下での強い利得により, 高いベースラインを達成している。
我々は,ワールドモデル予測品質とロールアウト成功の相関関係を解析し,WAMの性能と改善への道筋について考察する。
関連論文リスト
- Modality-Autoregressive World-Action Models [44.96048693516864]
我々は,行動を予測する前に,複数の将来のモダリティを自己回帰的に認知する最初のWAMであるModARを紹介する。
我々は、スクラッチからトレーニングを行い、トレーニングデータの混合、予測モダリティ、WAMの定式化がパフォーマンスにどのように影響するかを体系的に研究する。
論文 参考訳（メタデータ） (2026-09-15T17:56:24Z) - WorldDiT: A Unified Diffusion Architecture for World and Action Modeling [8.370690859866412]
WorldDiTは、アクション生成とビジュアルワールドモデリングを結合した統合拡散トランスフォーマーアーキテクチャである。
トレーニング中、単一の拡散トランスフォーマーが連続的なアクションチャンクを生成し、将来のカメラフレームから正規化されたRGBパッチターゲットを予測する。
論文 参考訳（メタデータ） (2026-07-27T00:55:10Z) - Geometric Action Model for Robot Policy Learning [68.6657929619782]
汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。
最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。
本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
論文 参考訳（メタデータ） (2026-06-15T17:58:03Z) - GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。
標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。
フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
論文 参考訳（メタデータ） (2026-05-20T05:51:30Z) - Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。
今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。
CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
論文 参考訳（メタデータ） (2026-03-27T17:20:10Z) - Visual Autoregressive Modelling for Monocular Depth Estimation [69.01449528371916]
本稿では,視覚的自己回帰(VAR)に基づく単眼深度推定手法を提案する。
提案手法は,大規模テキスト・画像VARモデルに適応し,スケールワイド・コンディショナル・アップサンプリング機構を導入する。
本研究では,屋内ベンチマークにおける制約付きトレーニング条件下での最先端性能と,屋外データセットに適用した場合の強い性能について報告する。
論文 参考訳（メタデータ） (2025-12-27T17:08:03Z) - VFMF: World Modeling by Forecasting Vision Foundation Model Features [67.09340259579761]
本稿では,視覚基礎モデルの特徴空間における自己回帰フローマッチングを行う生成予測器を提案する。
この潜伏情報の方がPCAベースの代替案よりも効果的であることを示す。
一致したアーキテクチャと計算により、本手法はすべてのモダリティにおける回帰よりもシャープで正確な予測を生成する。
論文 参考訳（メタデータ） (2025-12-12T02:10:05Z) - T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。
我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。
我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
論文 参考訳（メタデータ） (2022-09-19T15:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。