論文の概要: Learning 4D Geometric Priors for Inference-Efficient World Action Models
- arxiv url: http://arxiv.org/abs/2607.05468v1
- Date: Mon, 06 Jul 2026 07:10:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.272013
- Title: Learning 4D Geometric Priors for Inference-Efficient World Action Models
- Title（参考訳）: 推論効率の良い世界行動モデルのための4次元幾何学的事前学習
- Abstract要約: World Action Models (WAM) は、視覚的な未来のダイナミクスと実行可能なアクションシーケンスを共同でモデル化することで、ロボット操作の強力な可能性を示している。
我々は,アクション関連4次元幾何学的先行をビデオアクション表現に注入するマルチエキスパート・コレーティング・ワールド・アクション・モデルMECo-WAMを提案する。
LIBERO (98.2%)、RoboTwin 2.0 (92.6%)、そして現実世界の操作タスクに対する挑戦的な実験は、MECo-WAMが推論コストを増大させることなく操作性能を改善することを示した。
- 参考スコア（独自算出の注目度）: 26.63633606928882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) have shown strong potential for robotic manipulation by jointly modeling visual future dynamics and executable action sequences. However, existing video-action co-training methods primarily optimize appearance-oriented video latents, which may insufficiently capture the temporally evolving geometry required for precise manipulation. We propose MECo-WAM, a Multi-Expert Co-Training World Action Model that injects action-relevant 4D geometric priors into video-action representations while preserving the original lightweight inference graph. During training, MECo-WAM combines video and action experts with a lightweight 4D expert supervised by relational targets from a frozen VGGT encoder. Asymmetric expert visibility prevents non-causal shortcuts from auxiliary geometry to action generation. To transfer geometric knowledge into the deployed video-action pathway, we introduce decayed 4D read-mask attention, which provides restricted current-frame geometric guidance early in training and progressively removes this dependency. We further propose action-aware temporal geometric distillation, which aligns within-frame geometric relations and their temporal evolution while emphasizing visual regions most relevant to robot actions. At deployment, all auxiliary 4D components are removed. Experiments on LIBERO (98.2%), RoboTwin 2.0 (92.6%), and challenging real-world manipulation tasks show that MECo-WAM improves manipulation performance without increasing inference cost.
- Abstract（参考訳）: World Action Models (WAM) は、視覚的な未来のダイナミクスと実行可能なアクションシーケンスを共同でモデル化することで、ロボット操作の強力な可能性を示している。
しかし、既存のビデオアクション協調学習手法は主に外見指向の映像潜伏者を最適化し、正確な操作に必要な時間的変化の幾何を捉えるのに不十分である。
我々は,従来の軽量な推論グラフを保存しつつ,アクション関連4次元幾何先行をビデオアクション表現に注入するマルチエキスパート・コレーニング・ワールド・アクション・モデルMECo-WAMを提案する。
トレーニング中、MECo-WAMはビデオとアクションの専門家と、凍結したVGGTエンコーダのリレーショナルターゲットによって監督される軽量な4Dエキスパートを組み合わせる。
非対称な専門家の視認性は、非因果ショートカットが補助幾何学からアクション生成を妨げている。
配置されたビデオアクション経路に幾何学的知識を伝達するために、我々は4Dリードマスクの注意を減衰させ、トレーニングの早い段階で現在のフレームの幾何学的ガイダンスを制限し、その依存性を徐々に除去する。
さらに,ロボットの動作に最も関係のある視覚領域を強調しながら,フレーム内の幾何学的関係と時間的進化を一致させる行動対応型時間的幾何蒸留を提案する。
配備時には、すべての補助的な4Dコンポーネントが削除される。
LIBERO (98.2%)、RoboTwin 2.0 (92.6%)、そして現実世界の操作タスクに対する挑戦的な実験は、MECo-WAMが推論コストを増大させることなく操作性能を改善することを示した。
関連論文リスト
- GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos [8.414561051327915]
そこで,GeoLAMについて紹介する。GeoLAMは,アクションフリーな人間のビデオから幾何学的特徴を学習するためのフレームワークである。
GeoLAMは、凍結した幾何学的特徴階層による将来のフレーム再構築と、トレーニング専用の4D幾何学教師の運動監督を組み合わせる。
論文 参考訳（メタデータ） (2026-09-15T12:31:34Z) - LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。
既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。
LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
論文 参考訳（メタデータ） (2026-08-06T07:47:01Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳（メタデータ） (2026-05-20T21:36:44Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - 4D Driving Scene Generation With Stereo Forcing [62.47705572424127]
現在の生成モデルは、時間外挿と空間的新規ビュー合成(NVS)をシーンごとの最適化なしで同時にサポートする動的4D駆動シーンの合成に苦慮している。
PhiGenesisは、幾何学的・時間的整合性を持った映像生成技術を拡張する4次元シーン生成のための統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-24T15:37:17Z) - GAF: Gaussian Action Field as a 4D Representation for Dynamic World Modeling in Robotic Manipulation [47.471097712217386]
既存のアプローチは、視覚入力から直接アクションを予測するV-A(Vision-to-A)パラダイムや、中間的な3D表現を活用するV-3D-to-A(Vision-to-A)パラダイムに従うのが一般的である。
本稿では,ガウスアクション場(GAF)を介して動作認識4D表現から直接行動推論を可能にするV-4D-Aフレームワークを採用する。
実験では、+11.5385 dB PSNR、+0.3864 SSIM、-0.5574 LPIPSの改善を達成し、平均+7.3%の成功を上げた。
論文 参考訳（メタデータ） (2025-06-17T02:55:20Z) - Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction [72.54905331756076]
動的シーンのモノクロ3次元再構成にビデオ拡散モデルを再利用するGeo4Dを提案する。
大規模な事前訓練ビデオモデルによってキャプチャされた強いダイナミックな事前情報を活用することで、Geo4Dは合成データのみを使用して訓練することができる。
提案手法は,これらのモダリティを調整・融合するマルチモーダルアライメントアルゴリズムと,推論時にスライディングウインドウアプローチを提案する。
論文 参考訳（メタデータ） (2025-04-10T17:59:55Z) - PartRM: Modeling Part-Level Dynamics with Large Cross-State Reconstruction Model [23.768571323272152]
PartRMは、静的オブジェクトの多視点画像から外観、幾何学、部分レベルの動きを同時にモデル化する新しい4D再構成フレームワークである。
我々はPartDrag-4Dデータセットを導入し、20,000以上の状態にまたがる部分レベルのダイナミクスを多視点で観察する。
実験結果から,PartRMはロボット工学の操作作業に応用できる部分レベルの動作学習において,新たな最先端技術を確立していることがわかった。
論文 参考訳（メタデータ） (2025-03-25T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。