論文の概要: What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?

• arxiv url: http://arxiv.org/abs/2606.06627v1
• Date: Thu, 04 Jun 2026 18:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.403173
• Title: What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?
• Title（参考訳）: 毎日の人間ビデオでロボット操作ポリシーを訓練する時、何が重要か?
• Authors: Richard Li, Aditya Prakash, Andrew Wen, Saurabh Gupta, Yilun Du, Pulkit Agrawal,
• Abstract要約: 私たちは、28時間の高品質な三角測量された手ラベルと自然な動きを備えた532人のビデオのデータセットを使用します。 手のポーズの質は移動に影響を与えるが、正確な手であっても、視覚と政策ネットワークがそれぞれの実施に特化しない限り、固有の動きギャップは移動を妨げる。
• 参考スコア（独自算出の注目度）: 51.606902362959495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human video datasets used for cotraining robot manipulation policies largely consist of curated demonstrations where motions are orchestrated to resemble robot behavior and 3D hand poses are captured with specialized hardware. A more plentiful source of data is everyday Internet video, but it is an open question what factors enable transfer from such videos to robots. We investigate this using a new dataset of 532 human videos with 28 hours of high-quality triangulated hand labels and natural motions. We find that hand pose quality affects transfer, but even with accurate hands, the inherent motion gap hinders transfer unless the vision and policy networks specialize to each embodiment. Our cotraining recipe yields consistent improvements, with an absolute success rate gain of $29.7\%$ in the low-robot-data regime across six manipulation tasks.
• Abstract（参考訳）: ロボット操作ポリシのトレーニングに使用される人間のビデオデータセットは、ロボットの動作に似た動きを編成し、3Dハンドポーズを特殊なハードウェアでキャプチャするキュレートされたデモで構成されている。 より豊富なデータソースは、日常的なインターネットビデオであるが、そのようなビデオからロボットへの転送を可能にする要因は何なのかは、疑問視されている。 高品質な手ラベルと自然な動きを28時間持つ532人のビデオのデータセットを用いて、これを調査する。 手のポーズの質は移動に影響を与えるが、正確な手であっても、視覚と政策ネットワークがそれぞれの実施に特化しない限り、固有の動きギャップは移動を妨げる。 我々のコトレーニングレシピは、6つの操作タスクにわたるローボットデータ体制において、絶対的な成功率を29.7 %として、一貫した改善をもたらす。

関連論文リスト

• HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos [58.9564236347451]
  HumanEgoは、人間とロボットのエンボディメントギャップを橋渡しするフレームワークである。 それは、人間のデモを、手動オブジェクトの相互作用の実体レベルの表現へと持ち上げる。 HumanEgoは、ロボットのデータフリー、ハードウェア非依存、データ効率、ゼロショットの人間とロボットの転送を可能にする。
  論文  参考訳（メタデータ） (2026-05-24T08:26:41Z)
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
  DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。 DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。 ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:02Z)
• Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction [24.49384094440561]
  我々は,RGBのヒューマンビデオから直接デクスタラスな操作を学習する,デバイスフリーのフレームワークであるVIDEOMANIPを提案する。 シミュレーションでは、学習した把握モデルはインスパイアハンドを用いて20種類のオブジェクトに対して70.25%の成功率を達成する。 実世界では、RGBビデオから訓練された操作ポリシーは、LEAPハンドを使用して7つのタスクで平均62.86%の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-09T18:56:02Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations [52.29884993824894]
  自然環境で日々のタスクを行う人間から、マルチフィンガーロボットポリシーを学ぶことは、ロボットコミュニティにとって長年の大きな目標だった。 AINAは、Aria Gen 2メガネを使用して、どこでも、どこでも、あらゆる環境で収集されたデータから、マルチフィンガーポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:02Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。