論文の概要: EgoMimic: Scaling Imitation Learning via Egocentric Video

• arxiv url: http://arxiv.org/abs/2410.24221v1
• Date: Thu, 31 Oct 2024 17:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:00:36.504907
• Title: EgoMimic: Scaling Imitation Learning via Egocentric Video
• Title（参考訳）: EgoMimic: Egocentric Videoによる模倣学習のスケールアップ
• Authors: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, Danfei Xu,
• Abstract要約: EgoMimicは、人間の体表データを介して操作をスケールするフルスタックフレームワークである。 EgoMimic は,1) エルゴノミクス・プロジェクト・Aria メガネを用いたヒトの体型データをキャプチャするシステム,2) 人体データとの運動的ギャップを最小限に抑える低コストなバイマティックマニピュレータ,(4) 人体データとロボットデータとのコトレーニングを行う模倣学習アーキテクチャ,の2つによって実現している。
• 参考スコア（独自算出の注目度）: 22.902881956495765
• License:
• Abstract: The scale and diversity of demonstration data required for imitation learning is a significant challenge. We present EgoMimic, a full-stack framework which scales manipulation via human embodiment data, specifically egocentric human videos paired with 3D hand tracking. EgoMimic achieves this through: (1) a system to capture human embodiment data using the ergonomic Project Aria glasses, (2) a low-cost bimanual manipulator that minimizes the kinematic gap to human data, (3) cross-domain data alignment techniques, and (4) an imitation learning architecture that co-trains on human and robot data. Compared to prior works that only extract high-level intent from human videos, our approach treats human and robot data equally as embodied demonstration data and learns a unified policy from both data sources. EgoMimic achieves significant improvement on a diverse set of long-horizon, single-arm and bimanual manipulation tasks over state-of-the-art imitation learning methods and enables generalization to entirely new scenes. Finally, we show a favorable scaling trend for EgoMimic, where adding 1 hour of additional hand data is significantly more valuable than 1 hour of additional robot data. Videos and additional information can be found at https://egomimic.github.io/
• Abstract（参考訳）: 模倣学習に必要な実演データの規模と多様性は大きな課題である。 EgoMimicは、人間の体格データ、具体的には3Dハンドトラッキングと組み合わせたエゴセントリックな人間ビデオを介して操作をスケールするフルスタックフレームワークである。 EgoMimic は,1) エルゴノミクス・プロジェクト・Aria メガネを用いてヒトの体表データをキャプチャするシステム,2) 人体データとの運動的ギャップを最小限に抑える低コストなバイマンマニピュレータ,(3) クロスドメインデータアライメント技術,(4) 人体データとロボットデータとを協調的に学習する模倣学習アーキテクチャ,の3つによって実現している。 人間の映像からのみ高レベルな意図を抽出する先行研究と比較して,本研究では,人間とロボットのデータを均等に具現化した実演データとして扱い,両データソースから統一的なポリシーを学習する。 EgoMimicは、最先端の模倣学習法に対して、多種多様なロングホライズン、シングルアーム、バイマニュアル操作タスクを改良し、全く新しいシーンへの一般化を可能にする。 最後に、EgoMimicでは、1時間追加のハンドデータよりも1時間追加のロボットデータよりもはるかに価値の高いスケーリング傾向を示す。 ビデオと追加情報はhttps://egomimic.github.io/で見ることができる。

関連論文リスト

• DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
  本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。 私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。 また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
  論文  参考訳（メタデータ） (2024-10-31T17:48:45Z)
• EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World [44.34800426136217]
  EgoExoLearnは、以下のプロセスで人間の実演をエミュレートするデータセットである。 EgoExoLearnには120時間にわたるエゴセントリックでデモ的なビデオデータが含まれている。 クロスビューアソシエーション、クロスビューアクションプランニング、クロスビュー参照スキルアセスメントなどのベンチマークを提示する。
  論文  参考訳（メタデータ） (2024-03-24T15:00:44Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations [55.549956643032836]
  MimicGenは、少数の人間のデモから大規模でリッチなデータセットを自動的に合成するシステムである。 ロボットエージェントは,この生成したデータセットを模倣学習により効果的に訓練し,長期的・高精度なタスクにおいて高い性能を達成することができることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:17:31Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos [92.38049744463149]
  大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
  論文  参考訳（メタデータ） (2021-04-16T06:10:10Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。