論文の概要: From Generated Human Videos to Physically Plausible Robot Trajectories

• arxiv url: http://arxiv.org/abs/2512.05094v2
• Date: Thu, 11 Dec 2025 17:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 14:11:15.086748
• Title: From Generated Human Videos to Physically Plausible Robot Trajectories
• Title（参考訳）: 人間の映像から身体的プラウジブルなロボット軌道まで
• Authors: James Ni, Zekai Wang, Wei Lin, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik, Roei Herzig,
• Abstract要約: ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
• 参考スコア（独自算出の注目度）: 103.28274349461607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video generation models are rapidly improving in their ability to synthesize human actions in novel contexts, holding the potential to serve as high-level planners for contextual robot control. To realize this potential, a key research question remains open: how can a humanoid execute the human actions from generated videos in a zero-shot manner? This challenge arises because generated videos are often noisy and exhibit morphological distortions that make direct imitation difficult compared to real video. To address this, we introduce a two-stage pipeline. First, we lift video pixels into a 4D human representation and then retarget to the humanoid morphology. Second, we propose GenMimic-a physics-aware reinforcement learning policy conditioned on 3D keypoints, and trained with symmetry regularization and keypoint-weighted tracking rewards. As a result, GenMimic can mimic human actions from noisy, generated videos. We curate GenMimicBench, a synthetic human-motion dataset generated using two video generation models across a spectrum of actions and contexts, establishing a benchmark for assessing zero-shot generalization and policy robustness. Extensive experiments demonstrate improvements over strong baselines in simulation and confirm coherent, physically stable motion tracking on a Unitree G1 humanoid robot without fine-tuning. This work offers a promising path to realizing the potential of video generation models as high-level policies for robot control.
• Abstract（参考訳）: ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上し、コンテキストロボット制御のための高レベルプランナーとして機能する可能性を秘めている。 この可能性を実現するために、重要な研究課題が未解決のまま残っている。ヒューマノイドはどうやってゼロショットで生成されたビデオから人間のアクションを実行できるのか? この課題は、生成されたビデオは、しばしばノイズがあり、実際のビデオと比較して直接の模倣を困難にする形態的歪みを示すためである。 これを解決するために、2段階のパイプラインを導入します。 まず、ビデオのピクセルを4Dの人間の表現に上げ、それからヒューマノイドの形態に再ターゲティングする。 第2に、3次元キーポイントに条件付き物理対応強化学習政策を提案し、対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。 その結果、GenMimicはノイズで生成されたビデオから人間の行動を模倣することができる。 GenMimicBenchは、2つのビデオ生成モデルを用いて生成された合成人力データセットであり、ゼロショットの一般化とポリシーのロバスト性を評価するためのベンチマークを確立する。 大規模な実験では、シミュレーションにおいて強いベースラインよりも改善され、微調整なしでUnitree G1ヒューマノイドロボット上でコヒーレントで物理的に安定なモーショントラッキングが確認できる。 この研究は、ロボット制御のための高レベルポリシーとして、ビデオ生成モデルの可能性を実現するための有望な道を提供する。

関連論文リスト

• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation [74.70013315714336]
  Gen2Actは、ゼロショットのヒューマンビデオ生成として言語条件の操作をキャストし、生成したビデオに対して単一のポリシーで実行します。 実世界の多様なシナリオにおいて,Gen2Actがロボットデータに存在しないタスクに対して,未知のオブジェクトタイプを操作したり,新たな動作を実行したりすることができることを示す。
  論文  参考訳（メタデータ） (2024-09-24T17:57:33Z)
• Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
  Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。 我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。 実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-19T17:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。