論文の概要: From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
- arxiv url: http://arxiv.org/abs/2607.26903v1
- Date: Wed, 29 Jul 2026 13:35:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.690373
- Title: From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
- Title（参考訳）: 受動的ビデオから編集可能な体験へ:身体情報のための物理的に接地された体験合成
- Abstract要約: Pegasusは、人間の形態学とロボットハードウェアの間のエンボディメントギャップを橋渡しするフレームワークである。
ヒューマンビデオから抽出されたタスクグラフは、ロボット条件のビデオ生成のためのロボット計画グラフに変換される。
我々は,GTEA Gaze+やEPIC-KITCHENS-100など,多種多様なエゴセントリックな操作ベンチマークを用いてペガサスを評価する。
- 参考スコア（独自算出の注目度）: 2.160835522257474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The key bottleneck in embodied AI is not model architecture but data. Although billions of human manipulation videos exist online, robots cannot directly learn from them due to the embodiment gap between human morphology and robot hardware. We introduce Pegasus, a low-resource framework that bridges this gap by translating human demonstrations into robot-learnable data through structured knowledge transfer. Instead of relying on raw video prompts, Pegasus constructs a graph-based intermediate representation: a Task Graph extracted from human videos is transformed through Affordance and Constraint Graphs into a Robot Planning Graph for robot-conditioned video generation. A hierarchical affordance latent space models the relationship between object states, affordances, and tasks, enabling generalization beyond object identities. A closed-loop physics verifier further filters invalid generations using kinematic feasibility, collision constraints, and joint limits. We evaluate Pegasus across a range of egocentric manipulation benchmarks, including GTEA Gaze+ and EPIC-KITCHENS-100, and diverse robot embodiments, assessing Task Correctness, Executability, State Consistency, and Learnability. Results demonstrate reliable cross-embodiment translation and show that robot data generation can be reframed from a hardware collection problem into a scalable, low-resource knowledge transfer problem.
- Abstract（参考訳）: 具体的AIにおける重要なボトルネックは、モデルアーキテクチャではなくデータである。
何十億もの人間の操作ビデオがオンラインで存在しているが、ロボットは人間の形態とロボットハードウェアとの具体化のギャップのために直接学習することはできない。
このギャップを埋める低リソースのフレームワークであるPegasusを紹介します。
人間のビデオから抽出されたタスクグラフは、AffordanceとConstraint Graphsを通じてロボット条件のビデオ生成のためのロボット計画グラフに変換される。
階層的空き時間空間は、オブジェクト状態、空き時間、タスクの関係をモデル化し、オブジェクトの同一性を超えた一般化を可能にする。
閉ループ物理検証器は、キネマティック実現可能性、衝突制約、結合限界を用いて、無効な世代をフィルタする。
我々は,GTEA Gaze+やEPIC-KITCHENS-100などのエゴセントリックな操作ベンチマークや,タスクの正確性,実行可能性,状態整合性,学習性など,多様なロボットの実施状況を評価する。
その結果,ロボットのデータ生成がハードウェアコレクション問題から,スケーラブルで低リソースな知識伝達問題へと再構成できることが示唆された。
関連論文リスト
- Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。
Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
論文 参考訳（メタデータ） (2026-08-03T17:52:26Z) - EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。
EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
論文 参考訳（メタデータ） (2026-06-16T00:44:16Z) - DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。
DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。
ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
論文 参考訳（メタデータ） (2026-02-10T18:59:02Z) - H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。
私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。
テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
論文 参考訳（メタデータ） (2025-12-10T07:59:45Z) - From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。
この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか?
この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。
我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
論文 参考訳（メタデータ） (2025-12-04T18:56:03Z) - MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。
視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。
視点安定化のためにEgoStabilizerを提案する。
動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
論文 参考訳（メタデータ） (2025-09-26T11:05:10Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳（メタデータ） (2025-03-10T10:04:58Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。