論文の概要: Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
- arxiv url: http://arxiv.org/abs/2610.22363v1
- Date: Thu, 15 Oct 2026 17:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.282107
- Title: Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
- Title（参考訳）: Egocentric Dexterous Manipulationのための統一世界行動モデル
- Abstract要約: P$3$-WAMは、エゴセントリックなデキスタラスな操作のための統一された世界アクションモデルである。
我々のモデルは、コンパクトで構造化された3Dアクション表現を事前訓練されたビデオ拡散変換器に統合する。
本モデルは,4つのデータセットにまたがる3次元手指再建と動作条件付き映像予測の専門的ベースラインに優れる。
- 参考スコア（独自算出の注目度）: 53.00741268465108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce P$^{3}$-WAM, a unified world action model for egocentric dexterous manipulation that learns 3D perception, action-conditioned prediction, and goal-directed planning through three complementary modes: Perceive, which reconstructs articulated hand motion and camera trajectories from video; Predict, which generates visual futures under prescribed actions; and Plan, which jointly generates action trajectories and their anticipated visual consequences conditioned on an initial image, a language instruction, and an optional visual goal. Our model integrates a compact, structured 3D action representation into a pretrained video diffusion transformer through a mixture-of-transformers architecture with shared base weights, modality-specific adaptation, and bidirectional visual-action attention. Randomized modality visibility lets video and 3D actions serve as either conditioning context or prediction targets across the three modes. Experiments show that unified training improves all three capabilities over single-mode training, including gains in planning quality under a vision-language model evaluation. Through unified training, our model outperforms specialized baselines on 3D hand reconstruction and action-conditioned video prediction across four datasets, while producing goal-directed manipulation videos with stronger instruction adherence and action progression than video-generation baselines. Project Page: https://p3-wam.pages.dev/
- Abstract（参考訳）: P$^{3}$-WAMは3つの相補的なモードを通して3次元知覚、行動条件付き予測、目標指向計画を学ぶエゴセントリックな操作のための統一された世界行動モデルである。
モデルでは,コンパクトで構造化された3次元動作表現を,共用ベースウェイト,モダリティ固有の適応,双方向の視覚的注意を付加した混合変圧器アーキテクチャにより,予め訓練したビデオ拡散変換器に統合する。
ランダムなモダリティの可視性により、ビデオと3Dアクションは、3つのモードにわたる条件付けコンテキストまたは予測ターゲットとして機能する。
実験により、統合トレーニングは、視覚言語モデル評価の下での計画品質の向上を含む、シングルモードトレーニングよりも3つの機能をすべて改善することが示された。
統合トレーニングにより,本モデルは,4つのデータセットにまたがる3次元手指再建と動作条件付き映像予測の専門的ベースラインよりも優れ,映像生成ベースラインよりも強い指示付着と行動進行を伴う目標指向の操作ビデオを生成する。
Project Page: https://p3-wam.pages.dev/
関連論文リスト
- Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling [24.137407798110896]
本稿では,エボディメントを横断する共同ビデオアクションモデリングのための世界モデルDream4ACTを紹介する。
我々は、所定の4つの仮想カメラから目標の関節構成をレンダリングする、アクションビューと呼ばれる共有視覚アクションインタフェースを導入する。
Dream4ACTはRoboTwin2.0で88.98%、TriWorldBenchで65.66点を記録した。
論文 参考訳（メタデータ） (2026-09-30T16:55:14Z) - LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。
既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。
LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
論文 参考訳（メタデータ） (2026-08-06T07:47:01Z) - Structured 4D Latent Predictive Model for Robot Planning [47.15864337571781]
本研究では,観察とテキストによる指示を条件とした構造付き潜時空間におけるシーンの3次元構造の進化を予測する構造的4次元潜時予測モデルを提案する。
我々の表現は、シーンを一様にエンコードし、多様な3Dフォーマットにデコードすることで、より完全で一貫したシーン理解を可能にします。
実験により、我々のモデルは、最先端のビデオベースプランナと比較して、強力な視覚的品質、かなり優れた3次元整合性、マルチビューコヒーレンスを持つ未来を生成することが示された。
論文 参考訳（メタデータ） (2026-07-01T16:52:49Z) - iFLYTEK-Embodied-Omni Technical Report [30.02389585663246]
汎用的な実施エージェントは、マルチモーダルな指示を理解し、環境がどのように進化するかを予測し、拡張水平線上で正確な制御アクションを生成する必要がある。
iFLYTEK-Embodied-Omniは、単一のOmniフレームワーク内で視覚(ビデオと画像)、言語、アクションを共同でモデル化する統合マルチモーダル基盤モデルである。
論文 参考訳（メタデータ） (2026-06-24T00:25:44Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。
本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。
シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文 参考訳（メタデータ） (2026-01-29T17:07:43Z) - 3D-VLA: A 3D Vision-Language-Action Generative World Model [68.0388311799959]
最近の視覚言語アクション(VLA)モデルは2D入力に依存しており、3D物理世界の広い領域との統合は欠如している。
本稿では,3次元知覚,推論,行動をシームレスにリンクする新しい基礎モデルのファウンデーションモデルを導入することにより,3D-VLAを提案する。
本実験により,3D-VLAは実環境における推論,マルチモーダル生成,計画能力を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-03-14T17:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。