論文の概要: Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling
- arxiv url: http://arxiv.org/abs/2609.40153v1
- Date: Wed, 30 Sep 2026 16:55:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.114007
- Title: Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling
- Title（参考訳）: Dream4ACT:マルチ・エンボディメント・ビデオ・アクション・モデリングのための共有ビジュアル・アクション・インタフェース
- Abstract要約: 本稿では,エボディメントを横断する共同ビデオアクションモデリングのための世界モデルDream4ACTを紹介する。
我々は、所定の4つの仮想カメラから目標の関節構成をレンダリングする、アクションビューと呼ばれる共有視覚アクションインタフェースを導入する。
Dream4ACTはRoboTwin2.0で88.98%、TriWorldBenchで65.66点を記録した。
- 参考スコア（独自算出の注目度）: 24.137407798110896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video generation models (VGMs) offer strong spatiotemporal priors for embodied observation--action modeling. However, joint-space action vectors lack explicit image-space structure and vary in dimensionality and semantics across embodiments, making it challenging to directly leverage the rich spatiotemporal priors of VGMs. End-effector visualizations provide an alternative but do not specify the full articulated configuration needed for robot execution. We present Dream4ACT, a world model built for joint video-action modeling across embodiments. To unify action representations across embodiments, we introduce a shared visual action interface, called action views, which render target joint configurations from four prescribed virtual cameras using URDF-based forward kinematics. This shared visual representation preserves embodiment-specific articulated geometry while allowing observation and action sequences to share a video autoencoder and diffusion transformer. Through masked flow-matching, our model supports forward dynamics, inverse dynamics, and joint observation--action generation within a single jointly trained model by varying which future sequences are corrupted. To recover executable action sequences from predicted action views, we propose a training-free, URDF-constrained multiview recovery mechanism, without a learned embodiment-specific decoder. Dream4ACT achieves an average success rate of 88.98\% on RoboTwin~2.0 and an overall score of 65.66 on TriWorldBench, supporting effective closed-loop manipulation and competitive action-conditioned multiview prediction through the visual action interface.
- Abstract（参考訳）: ビデオ生成モデル(VGM)は、観察-行動モデリングを具体化するための時間差の強いモデルを提供する。
しかし、共同空間の作用ベクトルは画像空間の構造が明確ではなく、立体性や意味論が具現化されているため、VGMの豊富な時空間的前提を直接活用することは困難である。
エンドエフェクタビジュアライゼーションは代替手段を提供するが、ロボットの実行に必要な完全な構成は規定していない。
本稿では,エボディメントを横断する共同ビデオアクションモデリングのための世界モデルDream4ACTを紹介する。
動作表現を具体化するために,URDFベースのフォワードキネマティクスを用いて,所定の4つの仮想カメラからの目標関節構成をレンダリングする,アクションビューと呼ばれる共有視覚行動インタフェースを導入する。
この共有視覚表現は、観察およびアクションシーケンスがビデオオートエンコーダと拡散トランスフォーマーを共有することを可能にしながら、エンボディメント固有の調音幾何学を保存する。
マスク付きフローマッチングにより、将来のシーケンスが破壊されるかによって、単一の共同訓練モデルにおいて、フォワードダイナミクス、逆ダイナミクス、共同観測-アクション生成をサポートする。
予測されたアクションビューから実行可能なアクションシーケンスを復元するために,学習した具体的デコーダを使わずに,トレーニング不要なURDF制約付きマルチビューリカバリ機構を提案する。
Dream4ACTはRoboTwin~2.0の平均成功率88.98\%、TriWorldBenchの総合スコア65.66を達成し、効果的なクローズドループ操作と視覚アクションインタフェースによる競合アクション条件付きマルチビュー予測をサポートする。
関連論文リスト
- Masked Visual Actions for Unified World Modeling [96.12988421978463]
Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。
Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
論文 参考訳（メタデータ） (2026-07-21T17:59:11Z) - Native Video-Action Pretraining for Generalizable Robot Control [77.59831077077176]
LingBot-VA 2.0は、エンボディメントのためにゼロから構築されたビデオアクション基盤モデルである。
高周波推論の要求を満たすため,本モデルは疎いMOEバックボーンを用いる。
現実のデプロイメントは、堅牢な基盤モデルとしてLingBot-VA 2.0を検証する。
論文 参考訳（メタデータ） (2026-07-09T16:15:43Z) - iFLYTEK-Embodied-Omni Technical Report [30.02389585663246]
汎用的な実施エージェントは、マルチモーダルな指示を理解し、環境がどのように進化するかを予測し、拡張水平線上で正確な制御アクションを生成する必要がある。
iFLYTEK-Embodied-Omniは、単一のOmniフレームワーク内で視覚(ビデオと画像)、言語、アクションを共同でモデル化する統合マルチモーダル基盤モデルである。
論文 参考訳（メタデータ） (2026-06-24T00:25:44Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields [15.319293934673915]
本稿では,運動制御と視覚知覚のループを閉じるイベントウェア生成世界モデルEA-WMを提案する。
イベント認識型双方向核融合ブロックを導入し、クロスブランチの注意を変調し、オブジェクトの状態変化と正確な相互作用のダイナミクスを捉える。
EA-WMは最先端のパフォーマンスを達成し、既存のベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2026-05-07T13:06:19Z) - VAG: Dual-Stream Video-Action Generation for Embodied Data Synthesis [35.55805069125473]
視覚・言語条件下でビデオとアクションを協調的に生成する,フローマッチングに基づく統合型デュアルストリームフレームワークを提案する。
シミュレーションと実世界の両方の設定で、VAGは競合予測品質を備えた協調したビデオアクションペアを生成し、実行可能な軌道再生をサポートし、有用な合成事前学習データを提供する。
論文 参考訳（メタデータ） (2026-04-10T13:59:54Z) - MVHOI: Bridge Multi-view Condition to Complex Human-Object Interaction Video Reenactment via 3D Foundation Model [83.12400850233034]
人間と物体の相互作用(Human-Object Interaction,HOI)ビデオのリアルな動きによる再現は、デジタル人間の創造のフロンティアである。
マルチビュー参照条件とビデオ基盤モデルをブリッジする2段階のHOIビデオ再現フレームワークであるMVHOIを提案する。
本フレームワークは,複雑なオブジェクト操作による長期HOIビデオの生成において,優れた性能を示す。
論文 参考訳（メタデータ） (2026-03-16T00:43:38Z) - Precise Action-to-Video Generation Through Visual Action Prompts [62.951609704196485]
アクション駆動のビデオ生成は、精度と一般性のトレードオフに直面している。
エージェント中心のアクション信号は、クロスドメイン転送可能性のコストで精度を提供する。
私たちはアクションをドメインに依存しない表現として正確に視覚的なプロンプトに"レンダリング"します。
論文 参考訳（メタデータ） (2025-08-18T17:12:28Z) - Conditional Temporal Variational AutoEncoder for Action Video Prediction [66.63038712306606]
ACT-VAEは、単一の入力画像からアクションクリップのポーズシーケンスを予測する。
プラグアンドプレイのP2Iネットワークに接続すると、ACT-VAEは画像シーケンスを合成できる。
論文 参考訳（メタデータ） (2021-08-12T10:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。