論文の概要: RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On

• arxiv url: http://arxiv.org/abs/2611.05163v2
• Date: Wed, 04 Nov 2026 15:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.789972
• Title: RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
• Title（参考訳）: RoboTryOn:仮想トライオンによる人間のビデオから有害なロボットデモを合成
• Abstract要約: 本稿では,人間とロボットを仮想試行錯誤として扱うRoboTryOnを提案する。 RoboTryOnは、人間のビデオを基準画像で指定された対象ロボットのビデオに変換する。 合成データを用いて訓練した政策が,新規タスクにおける平均成功率を向上させることを示す。
• 参考スコア（独自算出の注目度）: 50.84169131391187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot foundation models have shown remarkable performance in robot control, yet adapting them to a new task still relies heavily on teleoperated demonstrations. Egocentric human videos offer a scalable substitute, but overlaying rendered robots on human videos or retargeting human poses into robot actions leaves significant visual or action gaps for high-DoF robot embodiments. To address this limitation, we propose RoboTryOn, which treats human-to-robot translation as virtual try-on: try-on keeps the person and swaps the garment, RoboTryOn keeps the demonstrated motion and swaps the human for the robot. Specifically, RoboTryOn converts a human video into a video of the target robot specified by a reference image, while preserving the original task, objects, and background. To maintain visual consistency, we translate selected keyframes autoregressively and use them to guide video synthesis with motion conditioned on the human hand skeleton. Additionally, we use an inverse dynamics model (IDM) that incorporates depth features to infer action labels from synthesized videos for policy learning. Our experiments across multiple humanoid embodiments show that policies trained with our synthetic data improve the average success rate on novel tasks, including challenging bimanual manipulation, from 2% to 60%, without any real robot demonstration of those tasks. Moreover, training with our synthetic data matches the performance of policies trained solely on teleoperated demonstrations at approximately a third of the collection cost, demonstrating the cost efficiency of our approach.
• Abstract（参考訳）: ロボットファンデーションモデルは、ロボット制御において顕著な性能を示してきたが、新しいタスクにそれらを適用することは、まだ遠隔操作によるデモに大きく依存している。 エゴセントリックな人間のビデオは、スケーラブルな代替手段を提供するが、人間のビデオにレンダリングされたロボットをオーバーレイしたり、人間のポーズをロボットのアクションに再ターゲティングしたりすることは、ハイDoFロボットの体格にかなりの視覚的・行動的ギャップを残している。 この制限に対処するために、人間からロボットへの翻訳を仮想トライオンとして扱うRoboTryOnを提案する。 具体的には、RoboTryOnは、人間のビデオを基準画像で指定された対象ロボットのビデオに変換し、元のタスク、オブジェクト、バックグラウンドを保存する。 視覚的整合性を維持するために,選択したキーフレームを自己回帰的に翻訳し,人間の手首に運動条件を付けた映像合成を誘導する。 さらに、奥行き特徴を組み込んだ逆ダイナミクスモデル(IDM)を用いて、ポリシー学習のための合成ビデオからアクションラベルを推論する。 複数のヒューマノイドにまたがる実験により、我々の合成データで訓練されたポリシーは、新しいタスクにおける平均成功率を2%から60%に改善することを示した。 さらに,我々の総合データを用いたトレーニングは,遠隔操作による実演のみを,約3分の1のコストで実施する政策の性能と一致し,提案手法のコスト効率を実証した。

関連論文リスト

• Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
  ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。 これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。 その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
  論文  参考訳（メタデータ） (2026-10-05T11:08:50Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
  Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。 我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。 実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-19T17:47:37Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。