論文の概要: DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2608.13489v1
• Date: Thu, 13 Aug 2026 17:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.613612
• Title: DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation
• Title（参考訳）: DreamX-Phi 1.0:ロボットマニピュレーションのためのアクションコンディションビデオワールドモデル
• Abstract要約: ロボット操作のためのアクション条件付きビデオワールドモデルである textbfDreamX-Phi 1.0 を提案する。 説得力のあるロールアウトは、間違った腕を動かしたり、操作されたオブジェクトを失うことができる。 執筆時点では、ModelArenaはトラック1で1位、ワールド2.0チャレンジのトラック2で2位を獲得している。
• 参考スコア（独自算出の注目度）: 24.87069489254066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present \textbf{DreamX-Phi 1.0}, an action-conditioned video world model for robotic manipulation that, given an observed frame, a language instruction, and a prescribed action sequence comprising end-effector poses and gripper states, predicts the resulting future observations. Yet realism alone does not guarantee faithfulness: a convincing rollout can still move the wrong arm or lose the manipulated object. To ensure the prediction respects each arm's commanded path, we inject per-arm $\mathrm{SE}(3)$ transformations into attention via \textbf{PRoPE-style geometric encoding}, preserving arm identity and rigid-motion structure. Action control alone does not fully constrain scene geometry or the evolution of small manipulated objects. We therefore add a lightweight \textbf{depth branch} for scene-level geometry and use \textbf{SAM3 masks} with a frozen \textbf{V-JEPA teacher} to maintain object consistency throughout grasping. We further distill the multi-step generator into a few-step student via distribution-matching distillation for efficient deployment. At the time of writing, \model{} achieves first place on Track~1 and second place on Track~2 of the WorldArena~2.0 Challenge. Our model and code will be publicly available.
• Abstract（参考訳）: 本稿では,ロボット操作のための動作条件付きビデオワールドモデルである‘textbf{DreamX-Phi 1.0} について述べる。 しかし、現実主義だけでは忠実さは保証されない。説得力のあるロールアウトは、間違った腕を動かしたり、操作された物体を失ったりすることができる。 予測が各腕の指示された経路を尊重することを保証するため、各腕に$\mathrm{SE}(3)$変換を \textbf{PRoPE-style geometry encoding} を通じて注入し、腕のアイデンティティと剛体運動構造を保存する。 アクションコントロールだけでは、シーンの幾何学や小さな操作対象の進化を完全には制限しない。 したがって、シーンレベルの幾何学のために軽量な \textbf{depth branch} を追加し、凍結した \textbf{V-JEPA 教師とともに \textbf{SAM3 masks} を使用して、把握する全体を通してオブジェクトの一貫性を維持する。 さらに, 分散マッチング蒸留により, 多段発電装置を数段の学生に蒸留し, 効率よく展開する。 執筆時点では, \model{} は Track~1 で1位, WorldArena~2.0 Challenge の Track~2 で2位を獲得している。 私たちのモデルとコードは公開されます。

関連論文リスト

• GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
  VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。 我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
  論文  参考訳（メタデータ） (2026-08-26T11:41:55Z)
• G$^3$VLA: Geometric inductive bias for Vision-Language-Action Models [3.704517635293094]
  視覚言語アクション(VLA)モデルは、汎用ロボット操作において急速に進歩した。 それらの視覚トークンは、ロボットのカメラのキャリブレーションされた形状ではなく、2D画像座標に基づいている。 予め訓練されたVLAの視覚的ストリームに校正された構造を注入するカメラ対応幾何モジュールであるG$3$VLAを提案する。
  論文  参考訳（メタデータ） (2026-06-23T12:02:36Z)
• Supervise What Survives: Geometry-Guided VLA Adaptation from Synthetic Robot Videos [43.32573764638152]
  生成した視覚から低レベル制御を導出することは、ミスマッチした抽象化である、と我々は主張する。 我々は、将来の2次元エンドエフェクタ・ウェイポイントとして幾何学的コンテンツを抽出するtextbfGRAを提案する。 実際のロボットタスクでは、GRAは一致したデータ予算の下で擬似アクションベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-06-23T11:35:13Z)
• Geometric Action Model for Robot Policy Learning [68.6657929619782]
  汎用ロボットポリシーは、オブジェクト、カメラ、ロボットアクションが3D物理世界でどのように相互作用するかを推論しながら、ユーザーの指示に従う必要がある。 最近の視覚言語行動モデル(VLA)とビデオ世界行動モデル(WAM)は、大規模基盤モデルから強い意味や時間的先行を継承する。 本稿では,言語条件の操作ポリシーであるGeometric Action Model (GAM)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:03Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors [51.096845970243855]
  高忠実度3Dデータの不足により,全体Humanoid-Object Interaction (HOI) がボトルネックとなる。 本研究では,ゼロショットHOIフレームワークであるImagine2Realを提案する。
  論文  参考訳（メタデータ） (2026-05-21T10:15:39Z)
• GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
  視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。 標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。 フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
  論文  参考訳（メタデータ） (2026-05-20T05:51:30Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow [21.658558775915267]
  本研究では3次元オブジェクトフローを中間表現として,映像生成とロボット制御をブリッジするフレームワークDream2Flowを紹介する。 本手法は,生成した映像から3次元物体の動きを再構成し,物体軌跡追跡として定式化する。 Dream2Flowは、エボディメントギャップを克服し、事前訓練されたビデオモデルからのゼロショットガイダンスにより、さまざまなカテゴリのオブジェクトを操作することができる。
  論文  参考訳（メタデータ） (2025-12-31T10:25:24Z)
• FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
  $textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。 $textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。 この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
  論文  参考訳（メタデータ） (2025-05-21T15:33:27Z)
• Learning Sequential Kinematic Models from Demonstrations for Multi-Jointed Articulated Objects [6.125464415922235]
  マルチDoFオブジェクトに対する運動的制約と操作順序の両方をキャプチャする表現であるOKSMを紹介する。 Pokenetは、従来の方法と比較して、実世界のデータに対して、ジョイント軸と状態推定を20%以上改善する。
  論文  参考訳（メタデータ） (2025-05-09T18:09:06Z)
• Being Comes from Not-being: Open-vocabulary Text-to-Motion Generation with Wordless Training [178.09150600453205]
  本稿では、ゼロショット学習方式でオフラインのオープン語彙テキスト・トゥ・モーション生成について検討する。 NLPの即時学習にインスパイアされ、マスクされた動きから全動作を再構築する動き生成装置を事前訓練する。 本手法では,入力テキストをマスクした動作に再構成することで,動作生成者の動作を再構築する。
  論文  参考訳（メタデータ） (2022-10-28T06:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。