論文の概要: DreamX: Video Diffusion Model is a Universal Latent Action Learner

• arxiv url: http://arxiv.org/abs/2611.05377v1
• Date: Tue, 03 Nov 2026 18:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:56:27.055666
• Title: DreamX: Video Diffusion Model is a Universal Latent Action Learner
• Title（参考訳）: DreamX:ビデオ拡散モデル(動画)
• Abstract要約: 本稿では,事前学習されたビデオモデルを汎用学習者として活用するDreamXを紹介する。 提案手法は,映像モデルのリッチな特徴からコンパクトな潜時動作を抽出する。 DreamXは、潜在アクションモデルの間で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 39.708870756017575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning a universal action representation from video requires modeling dynamics that are consistent across different executions of the same action yet invariant to changes in embodiment and appearance. Existing latent action models infer actions from visual transitions, but their representations often entangle the underlying action with irrelevant visual variations, limiting transfer across embodiments. We introduce DreamX, which repurposes a pretrained video diffusion model as a universal latent action learner. Our approach extracts compact latent actions from the video model's rich spatiotemporal features, compressing each latent video frame by $\boldsymbol{300\times}$ ($\boldsymbol{1{,}200 \rightarrow 4}$ tokens). In addition, by leveraging the video model's generative prior, these latent actions capture action-relevant dynamics disentangled from visual appearance. The resulting latent space serves as a shared action interface across embodiments (human and robot), environments, and action parameterizations. On LARY-Bench, DreamX achieves state-of-the-art performance among latent action models. Moreover, actions encoded in one setting remain effective in another: the latent space supports any-to-any video transfer and zero-shot action transfer across diverse embodiments and environments. Furthermore, this shared interface also enables policy learning in a compact latent action space, reducing the computational cost of video-diffusion-based policies.
• Abstract（参考訳）: ビデオから普遍的なアクション表現を学習するには、同じアクションの異なる実行間で整合性を持つモデリングダイナミクスが必要であるが、エボディメントや外観の変化には不変である。 既存の潜在アクションモデルでは、視覚的な遷移からアクションを推測するが、その表現はしばしば、基礎となるアクションを無関係な視覚的バリエーションで絡み合わせる。 本稿では,DreamXを紹介する。DreamXは,事前学習したビデオ拡散モデルを,普遍的な潜在行動学習者として活用する。 提案手法は,ビデオモデルの豊富な時空間特徴からコンパクトな潜時動作を抽出し,各潜時映像フレームを$\boldsymbol{300\times}$$$$\boldsymbol{1{,}200 \rightarrow 4}$トークンで圧縮する。 さらに、ビデオモデルの生成前を活用すれば、これらの潜在アクションは、視覚的外観から切り離されたアクション関連ダイナミクスをキャプチャする。 結果として生じる潜在空間は、実施形態(人間とロボット)、環境、行動パラメータ化をまたいだ共有アクションインターフェースとして機能する。 Lary-Benchでは、DreamXは潜在アクションモデル間で最先端のパフォーマンスを達成する。 さらに、ある設定で符号化されたアクションは、別の環境でも有効であり、潜伏空間は、様々な実施形態や環境にわたって、あらゆる対あらゆるビデオ転送とゼロショットアクション転送をサポートする。 さらに、この共有インタフェースは、コンパクトな潜在アクション空間におけるポリシー学習を可能にし、ビデオ拡散ベースのポリシーの計算コストを低減させる。

関連論文リスト

• SUAVE: Unified Video-Action Models via Masked Diffusion [8.58848926187245]
  視覚言語アクションモデル(VLA)は、事前訓練された視覚言語バックボーンから強力な意味基盤を継承する。 ビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)は、言語を連続的な潜伏空間における凍結条件として扱うことができる。 マスク付き拡散変換器が言語で条件付けられたビデオとアクションを生成する単一の語彙統一アクションビデオモードであるSUAVEを提案する。
  論文  参考訳（メタデータ） (2026-10-02T20:11:13Z)
• Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling [24.137407798110896]
  本稿では,エボディメントを横断する共同ビデオアクションモデリングのための世界モデルDream4ACTを紹介する。 我々は、所定の4つの仮想カメラから目標の関節構成をレンダリングする、アクションビューと呼ばれる共有視覚アクションインタフェースを導入する。 Dream4ACTはRoboTwin2.0で88.98%、TriWorldBenchで65.66点を記録した。
  論文  参考訳（メタデータ） (2026-09-30T16:55:14Z)
• ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow [24.623235518370695]
  我々は、インタラクティブなビデオワールドモデルの任意のアクション、フレームレベル制御に対する新しいアプローチであるShadowDancerを提示する。 既存のインターフェイスはアクションを緩やかにエンコードし、モデルが即興的に展開する方法を残したり、構造化された信号を通じて正確にエンコードしたりする。 ShadowDancer氏はこれを,2つの重要なイノベーション – シャドウペア,独立して再サンプリングされた外観の下で同じダイナミクスを再生するビデオペア,シャドウ間の予測 – で対処する。
  論文  参考訳（メタデータ） (2026-07-30T15:28:43Z)
• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
  我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。 本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
  論文  参考訳（メタデータ） (2026-04-07T17:59:30Z)
• ActionParty: Multi-Subject Action Binding in Generative Video Games [117.52562594944679]
  ActionPartyは、ゲーム生成のための制御可能な多目的世界モデルである。 46の多様な環境において最大7人のプレイヤーを同時に制御できる最初のビデオワールドモデルを実証する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:58Z)
• Olaf-World: Orienting Latent Actions for Video World Modeling [100.96069208914957]
  アクションコントロール可能な世界モデルのスケーリングは、アクションラベルの不足によって制限される。 大規模受動的ビデオから行動条件付きビデオワールドモデルを事前訓練するパイプラインであるOraf-Worldを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T18:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。