論文の概要: H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models

• arxiv url: http://arxiv.org/abs/2608.13049v1
• Date: Thu, 13 Aug 2026 10:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.474694
• Title: H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models
• Title（参考訳）: H2R-Bench:世界モデルにおける人間とロボットの操作ビデオ生成のベンチマーク
• Abstract要約: H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。 各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
• 参考スコア（独自算出の注目度）: 56.60098789696351
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale manipulation data is essential for robot learning, yet collecting robot demonstrations remains expensive and difficult to scale. Meanwhile, abundant egocentric human manipulation videos provide rich behavioral experiences, but transferring them across embodiments remains challenging due to differences between human hands and robotic end-effectors. Recent advances in video world models offer a promising pathway to synthesize robot-centric manipulation videos from human observations, while their cross-embodiment transfer capability remains largely unexplored. Therefore, we introduce H2R-Bench, a benchmark for evaluating cross-embodiment human-to-robot manipulation video generation, where models transform egocentric human demonstrations into robot manipulation videos under specified embodiments. Each benchmark instance contains a human demonstration video, target embodiment constraints, and source-grounded annotations covering task goals, action events, functional contacts, and object responses. H2R-Bench evaluates generated videos through five dimensions, including goal-state completion, action-event completion, functional contact transfer, embodiment correctness, and general video quality. We benchmark eleven state-of-the-art video generation models across six manipulation families and two robot embodiments. Our evaluation reveals that current video world models remain limited in human-to-robot manipulation transfer: even leading models often fail in embodiment consistency, functional interaction, and task execution. H2R-Bench provides a systematic diagnostic framework for evaluating whether video world models can bridge the human-to-robot embodiment gap and convert human manipulation observations into robot-centric training resources.
• Abstract（参考訳）: ロボット学習には大規模な操作データが不可欠だが、ロボットのデモ収集は高価でスケールが難しい。 一方、エゴセントリックな人間の操作ビデオは、豊富な行動体験を提供するが、人間の手とロボットのエンドエフェクターの違いにより、それらを体に移植することは難しい。 最近のビデオワールドモデルの進歩は、人間の観察からロボット中心の操作ビデオを合成するための、有望な経路を提供する。 そこで,H2R-Benchは,人間とロボットの相互操作ビデオ生成のベンチマークであり,モデルがエゴセントリックな人間によるデモを,特定の実施条件下でのロボット操作ビデオに変換する。 それぞれのベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、タスクの目標、アクションイベント、機能的なコンタクト、オブジェクト応答を含むソース地上アノテーションが含まれている。 H2R-Benchは、ゴール状態完了、アクションイベント完了、機能的接触伝達、エンボディメントの正しさ、一般的なビデオ品質の5つの次元で生成されたビデオを評価する。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。 我々の評価によれば、現在のビデオワールドモデルは人間とロボットの操作の移動に限られており、リードモデルでさえしばしば実施の一貫性、機能的相互作用、タスク実行に失敗する。 H2R-Benchは、ビデオワールドモデルが人間とロボットのエンボディメントギャップを埋め、人間の操作観察をロボット中心のトレーニングリソースに変換することができるかどうかを評価するための、体系的な診断フレームワークを提供する。

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation [18.992624318431417]
  本稿では,1つの自我中心のRGB-D観測から全身のヒューマノイド操作スキルを自動的に合成するフレームワークであるRoboReactを紹介する。 RoboReactは人間の操作ビデオを生成し、深度対応の3D再構成を通じて幾何学的相互作用を抽出し、手動物体の相互作用を保ちながら、それらを高DoFのヒューマノイドプラットフォームに再ターゲットする。 実際のヒューマノイドロボットの実験では、RoboReactはさまざまなオブジェクト構成をまたがって一般化し、遠隔操作や人間によるデモンストレーションを必要とせず、実行障害から堅牢に回復する。
  論文  参考訳（メタデータ） (2026-08-04T09:37:06Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。