論文の概要: RoboEdit: Turning Human Manipulation Videos into Scalable Robot Experience
- arxiv url: http://arxiv.org/abs/2608.18948v1
- Date: Wed, 19 Aug 2026 14:15:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.424955
- Title: RoboEdit: Turning Human Manipulation Videos into Scalable Robot Experience
- Title（参考訳）: RoboEdit:人間の操作映像をスケーラブルなロボット体験に変える
- Abstract要約: 今回紹介するRoboEditは、人間からロボットまでのビデオ編集スイートで、人間の操作ビデオから3D手の状態のロボットビデオに変換する。
拡張性のある監視を実現するため,RGBビデオからの3Dインタラクションを再現・再ターゲットする自動パイプラインであるRoboEdit-ADCを導入する。
コア編集エンジンであるRoboEdit-Transは、外見や動きに適応しながら時間的コヒーレンスを維持するために、クロスボデーメント適応モジュールを使用している。
- 参考スコア（独自算出の注目度）: 38.96063446228056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collecting robot hand-object interaction data is costly and embodiment-specific, yet abundant human-object videos remain unusable for robot training. We present RoboEdit, a human-to-robot video editing suite that transforms human manipulation videos into action-consistent, physically plausible robot videos with aligned 3D hand states. To enable scalable supervision, we introduce RoboEdit-ADC, an automatic pipeline that reconstructs and retargets 3D interactions from RGB videos across embodiments. This pipeline generates RoboEdit-14M, a large-scale dataset of 174K aligned video pairs (14M frames) spanning seven robot embodiments, diverse scenes, and interaction types. The core editing engine, RoboEdit-Trans, employs cross-embodiment adaptation modules to preserve temporal coherence while adapting appearance and motion. It further integrates a 3D Robot-State Decoder to recover per-frame hand states for structured motion supervision. Experiments show that RoboEdit achieves state-of-the-art editing quality and supports downstream robot control policies in real-world manipulation tasks. Ultimately, the RoboEdit suite unlocks the vast potential of unlabeled human videos, providing scalable, high-fidelity visual and 3D motion supervision for generalizable robot learning.
- Abstract（参考訳）: ロボットハンドオブジェクトのインタラクションデータの収集は費用がかかり、具体化に特化しているが、ロボットのトレーニングには十分な人間のオブジェクトビデオは使用できない。
我々は、人間とロボットの動画編集スイートであるRoboEditを紹介します。
拡張性のある監視を実現するため,RGBビデオからの3Dインタラクションを再現・再ターゲットする自動パイプラインであるRoboEdit-ADCを導入する。
このパイプラインは174K対応のビデオペア(14Mフレーム)の大規模なデータセットであるRoboEdit-14Mを生成する。
コア編集エンジンであるRoboEdit-Transは、外見や動きに適応しながら時間的コヒーレンスを維持するために、クロスボデーメント適応モジュールを使用している。
さらに3D Robot-State Decoderを統合して、フレーム単位のハンドステートを復元し、構造化された動作監視を行う。
実験によると、RoboEditは最先端の編集品質を実現し、現実世界の操作タスクにおける下流ロボット制御ポリシーをサポートする。
最終的に、RoboEditスイートは、ラベルのない人間のビデオの膨大な可能性を解き放ち、汎用的なロボット学習のためのスケーラブルで高忠実な視覚と3Dモーションの監視を提供する。
関連論文リスト
- H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。
各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。
我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
論文 参考訳（メタデータ） (2026-08-13T10:14:33Z) - RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation [18.992624318431417]
本稿では,1つの自我中心のRGB-D観測から全身のヒューマノイド操作スキルを自動的に合成するフレームワークであるRoboReactを紹介する。
RoboReactは人間の操作ビデオを生成し、深度対応の3D再構成を通じて幾何学的相互作用を抽出し、手動物体の相互作用を保ちながら、それらを高DoFのヒューマノイドプラットフォームに再ターゲットする。
実際のヒューマノイドロボットの実験では、RoboReactはさまざまなオブジェクト構成をまたがって一般化し、遠隔操作や人間によるデモンストレーションを必要とせず、実行障害から堅牢に回復する。
論文 参考訳（メタデータ） (2026-08-04T09:37:06Z) - Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。
Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
論文 参考訳（メタデータ） (2026-08-03T17:52:26Z) - EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning [10.780924973366737]
EgoInfinityは、ロボットの獲得と学習のためのWebスケールデータ生成を可能にする、汎用的な4Dハンドオブジェクトインタラクションデータエンジンである。
EgoInfinity(エゴインフィニティ)は、知覚、セグメンテーション、再構築、相互認識の洗練、そして従来の計算不可能なビデオ対アクション問題を自動化するための、モジュール式エンジンである。
論文 参考訳（メタデータ） (2026-06-16T00:44:16Z) - EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations [12.604831042368078]
EgoEngineは、エゴセントリックな人間の操作ビデオから高忠実度ロボットデータに変換するためのフレームワークである。
EgoEngineは人間ビデオのロボットデータへのスケーラブルな変換を可能にしており、私たちの知る限り、エゴセントリックな人間ビデオから学習した初めてのゼロショットヴィジュモータなポリシーを実証している。
論文 参考訳（メタデータ） (2026-06-10T19:01:40Z) - What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos? [51.606902362959495]
私たちは、28時間の高品質な三角測量された手ラベルと自然な動きを備えた532人のビデオのデータセットを使用します。
手のポーズの質は移動に影響を与えるが、正確な手であっても、視覚と政策ネットワークがそれぞれの実施に特化しない限り、固有の動きギャップは移動を妨げる。
論文 参考訳（メタデータ） (2026-06-04T18:24:23Z) - H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。
私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。
テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
論文 参考訳（メタデータ） (2025-12-10T07:59:45Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳（メタデータ） (2025-03-10T10:04:58Z) - Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。
我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。
実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
論文 参考訳（メタデータ） (2024-03-19T17:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。