論文の概要: EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience

• arxiv url: http://arxiv.org/abs/2609.23755v1
• Date: Sun, 20 Sep 2026 17:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 16:22:46.817976
• Title: EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience
• Title（参考訳）: EgoWild2Dex: In-the-Wild Human Experience からDexterous Robotic Manipulation を学ぶ
• Abstract要約: EgoWildは、器用なロボット操作を学習するための、原則化された監督源である。 EgoWildは538.9時間のインザワイルドな人間中心のデータセットです。 EgoWild2Dexは3つの長い双対操作タスクで平均96.7%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 29.806618386944148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric human data provide a principled source of supervision for learning dexterous robot manipulation. Unlike prior approaches that often collect such data in constrained or specially constructed environments, we collect in-the-wild egocentric demonstrations in real-world settings, including homes, factories, and pharmacies, etc., where people perform their ordinary tasks while wearing head-mounted cameras. This collection protocol captures diverse workflows and hand-object interactions across long-tailed object and skill distributions, but also yields visually challenging observations due to scene clutter and head-motion-induced viewpoint changes (a mean cumulative rotation of $15.93^{\circ}$/s). To address these issues, we introduce EgoWild2Dex, which transfers in-the-wild ego-human experience to dual-arm robots with dexterous hands by jointly aligning unstable egocentric views and human motions with robot observations and actions, respectively. This work offers three benefits. First, we introduce GeoFormer, a differentiable geometric transformer that warps noisy human observations toward robot observations. Second, we design a human-robot training scheme to bridge the embodiment gap, enabling high task success with limited robot supervision. Third, we release EgoWild, a 538.9-hour in-the-wild egocentric human dataset comprising 179,049 episodes, 125,961 unique task descriptions, and 1,282 object categories. On real robots, EgoWild2Dex achieves an average success rate of 96.7% across three long-horizon bimanual dexterous manipulation tasks and an average object-level zero-shot success rate of 33.3%. The data, models, and code will be released.
• Abstract（参考訳）: エゴセントリックな人間のデータは、器用なロボット操作を学習するための、原則化された監督源を提供する。 制約のある、あるいは特別に構築された環境でデータを収集する従来のアプローチとは異なり、私たちは、ヘッドマウントカメラを装着しながら日常的なタスクを行う、家、工場、薬局など、現実の環境において、その自我中心のデモを収集する。 この収集プロトコルは、長い尾のオブジェクトとスキル分布の多様なワークフローと手動の相互作用をキャプチャするが、シーンのぼやけや頭の動きによる視点の変化による視覚的に困難な観察をもたらす(平均累積回転は15.93^{\circ}$/s)。 これらの課題に対処するために,不安定な自我中心の視点と人間の動きを,ロボットの観察と行動とを協調的に整合させることにより,両腕の自我体験を器用な手で両腕ロボットに伝達するEgoWild2Dexを紹介した。 この仕事は3つの利点がある。 まず、ノイズの多い人間の観察をロボットの観察に向ける、微分可能な幾何学変換器GeoFormerを紹介する。 第2に,人間ロボットのトレーニングスキームを設計し,ロボットの監督を限定して高いタスク成功を実現する。 第三に、EgoWildは538.9時間で179,049エピソード、125,961のタスク記述、1,282のオブジェクトカテゴリで構成されている。 現実のロボットでは、EgoWild2Dexは3つの長い水平二対数操作タスクに対して平均96.7%の成功率、平均オブジェクトレベルのゼロショット成功率33.3%を達成する。 データ、モデル、コードはリリースされます。

関連論文リスト

• HUI360: A 360° Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation [25.807307567309323]
  HUI360は,野生における人間とロボットの相互作用予測のための最大のデータセットである。 データセットは3ヶ月以内に、野生の移動ロボットから複数日間にわたって収集された。 我々は、詳細な2Dポーズ、顔のキーポイント、セグメンテーションマスクを含む、1Mの事前処理されたアノテーションのHUI360オープンセットをリリースする。 また、ロボットの自我中心の視点から捉えた、生の360度画像も公開しています。
  論文  参考訳（メタデータ） (2026-08-11T15:22:14Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos [58.9564236347451]
  HumanEgoは、人間とロボットのエンボディメントギャップを橋渡しするフレームワークである。 それは、人間のデモを、手動オブジェクトの相互作用の実体レベルの表現へと持ち上げる。 HumanEgoは、ロボットのデータフリー、ハードウェア非依存、データ効率、ゼロショットの人間とロボットの転送を可能にする。
  論文  参考訳（メタデータ） (2026-05-24T08:26:41Z)
• EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World [63.2070298441355]
  EgoVerseは、人間のデータ駆動型ロボット学習のためのコラボレーションプラットフォームである。 1,965のタスク、240のシーン、2,087のユニークなデモを行う人間のデモの1,362時間 (80kのエピソード) をリリースします。 複数の実験室、タスク、ロボットのエボディメントにまたがって再現された実験により、人間からロボットへの移動を大規模に研究する。
  論文  参考訳（メタデータ） (2026-04-08T21:27:06Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。