論文の概要: Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation?

• arxiv url: http://arxiv.org/abs/2604.04502v1
• Date: Mon, 06 Apr 2026 07:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.138891
• Title: Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation?
• Title（参考訳）: Veo-Act:フロンティア・ビデオ・モデルが一般化可能なロボット・マニピュレーションをどこまで進めることができるか?
• Authors: Zhongru Zhang, Chenghan Yang, Qingzhou Lu, Yanjiang Guo, Jianke Zhang, Yucheng Hu, Jianyu Chen,
• Abstract要約: 本稿では,Veo-3のような先進的なビデオ生成モデルが,汎用的なロボット操作を支援するかを検討する。 本稿では,Veo-3をハイレベルなモーションプランナとして,VLAポリシーを低レベルなエグゼキュータとして使用する階層型フレームワークであるVeo-Actを開発した。
• 参考スコア（独自算出の注目度）: 10.4712787665679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video generation models have advanced rapidly and are beginning to show a strong understanding of physical dynamics. In this paper, we investigate how far an advanced video generation model such as Veo-3 can support generalizable robotic manipulation. We first study a zero-shot approach in which Veo-3 predicts future image sequences from current robot observations, while an inverse dynamics model IDM recovers the corresponding robot actions. The IDM is trained solely on random-play data, requiring neither human supervision nor expert demonstrations. The key intuition is that, if a video model can generate physically plausible future motions in image space, an IDM can translate those visual trajectories into executable robot actions. We evaluate this "Veo-3+IDM" approach in both simulation and the real world using a high-dimensional dexterous hand. We find that, owing to the strong generalization capability of frontier video models, Veo-3+IDM can consistently generate approximately correct task-level trajectories. However, its low-level control accuracy remains insufficient to solve most tasks reliably. Motivated by this observation, we develop a hierarchical framework, Veo-Act, which uses Veo-3 as a high-level motion planner and a VLA policy as the low-level executor, significantly improving the instruction-following performance of a state-of-the-art vision-language-action policy. Overall, our results suggest that, as video generation models continue to improve, video models can be a valuable component for generalizable robot learning.
• Abstract（参考訳）: ビデオ生成モデルは急速に進歩し、物理力学を強く理解し始めている。 本稿では,Veo-3のような先進的なビデオ生成モデルが,汎用的なロボット操作を支援するかを検討する。 我々はまず,Veo-3が現在のロボット観測から将来の画像シーケンスを予測するゼロショットアプローチについて検討し,逆ダイナミクスモデルIMMは対応するロボット動作を復元する。 IDMはランダムプレイのデータのみに基づいて訓練されており、人間の監督も専門家のデモンストレーションも必要としない。 重要な直感は、ビデオモデルが画像空間で物理的に妥当な未来の動きを生成できるなら、IMMはそれらの視覚的軌跡を実行可能なロボットの動作に変換することができるということである。 我々はこの「Veo-3+IDM」アプローチを,高次元のデキスタラスハンドを用いてシミュレーションと実世界の両方で評価する。 また、フロンティアビデオモデルの強力な一般化能力により、Veo-3+IDMは、ほぼ正しいタスクレベルの軌道を一貫して生成できることがわかった。 しかし、その低レベル制御精度は、ほとんどのタスクを確実に解くには不十分である。 本研究では,Veo-3をハイレベルなモーションプランナとして,VLAポリシーを低レベルなエグゼキュータとして使用する階層型フレームワークであるVeo-Actを開発した。 全体として、ビデオ生成モデルの改善が進むにつれて、ビデオモデルは一般化可能なロボット学習にとって貴重な要素となり得ることを示唆している。

関連論文リスト

• GeneralVLA: Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning [20.646039344274556]
  GeneralVLAは階層型視覚言語アクション(VLA)モデルであり、基礎モデルの一般化をより効果的に活用することができる。 GeneralVLAは14タスクの軌道生成に成功し、VoxPoserのような最先端の手法を著しく上回った。
  論文  参考訳（メタデータ） (2026-02-04T08:30:27Z)
• Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
  汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。 最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。 本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
  論文  参考訳（メタデータ） (2025-12-17T18:35:54Z)
• VideoVLA: Video Generators Can Be Generalizable Robot Manipulators [86.70243911696616]
  ロボット操作の一般化は、オープンワールド環境におけるロボットの展開に不可欠である。 本稿では,大容量ビデオ生成モデルをロボットVLAマニピュレータに変換する可能性を探る,シンプルなアプローチであるVideoVLAを提案する。
  論文  参考訳（メタデータ） (2025-12-07T18:57:15Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• GWM: Towards Scalable Gaussian World Models for Robotic Manipulation [53.51622803589185]
  本稿では,ロボット操作のための世界モデルGawssian World Model (GWM)を提案する。 中心となるのは、潜伏拡散変換器(DiT)と3次元変分オートエンコーダを組み合わせることで、微粒なシーンレベルの将来の状態復元を可能にする。 シミュレーションと実世界の実験の両方で、GWMは多様なロボットのアクションに照らされた未来のシーンを正確に予測できる。
  論文  参考訳（メタデータ） (2025-08-25T02:01:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。