論文の概要: Holo-Dex: Teaching Dexterity with Immersive Mixed Reality

• arxiv url: http://arxiv.org/abs/2210.06463v1
• Date: Wed, 12 Oct 2022 17:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:24:02.024770
• Title: Holo-Dex: Teaching Dexterity with Immersive Mixed Reality
• Title（参考訳）: Holo-Dex:Immersive Mixed Realityによるディクスタリティの教育
• Authors: Sridhar Pandian Arunachalam, Irmak G\"uzey, Soumith Chintala, Lerrel Pinto
• Abstract要約: Holo-Dexは、VRヘッドセットを通じて教師を没入型混合現実に配置する、器用な操作のためのフレームワークである。 ヘッドセットに搭載された高忠実な手ポーズ推定器は、ロボットを遠隔操作し、様々な汎用的なデキスタスタスクのデモを収集するために使用される。 手で回転する、回転する、ボトルを開ける6つの一般的なタスクの実験は、ホロデックスが高品質なデモデータとトレーニングスキルを数時間で収集できることを示している。
• 参考スコア（独自算出の注目度）: 14.444965076709922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental challenge in teaching robots is to provide an effective interface for human teachers to demonstrate useful skills to a robot. This challenge is exacerbated in dexterous manipulation, where teaching high-dimensional, contact-rich behaviors often require esoteric teleoperation tools. In this work, we present Holo-Dex, a framework for dexterous manipulation that places a teacher in an immersive mixed reality through commodity VR headsets. The high-fidelity hand pose estimator onboard the headset is used to teleoperate the robot and collect demonstrations for a variety of general-purpose dexterous tasks. Given these demonstrations, we use powerful feature learning combined with non-parametric imitation to train dexterous skills. Our experiments on six common dexterous tasks, including in-hand rotation, spinning, and bottle opening, indicate that Holo-Dex can both collect high-quality demonstration data and train skills in a matter of hours. Finally, we find that our trained skills can exhibit generalization on objects not seen in training. Videos of Holo-Dex are available at https://holo-dex.github.io.
• Abstract（参考訳）: ロボットを教える上での基本的な課題は、人間の教師がロボットに有用なスキルを示す効果的なインターフェースを提供することである。 この課題は、高次元で接触に富んだ振る舞いを教える際には、密接な遠隔操作ツールを必要とすることが多い。 そこで本研究では,教師を没入型混合現実空間に配置し,vrヘッドセットで操作するフレームワークであるholo-dexを提案する。 ヘッドセットに搭載された高忠実な手ポーズ推定器は、ロボットを遠隔操作し、様々な汎用的なデキスタスタスクのデモを集めるために使用される。 これらの実演を踏まえ、我々は非パラメトリックな模倣と強力な特徴学習を併用して、器用なスキルを訓練する。 回転や回転、ボトルの開口など6つの一般的なタスクに関する実験から、holo-dexは高品質のデモデータとトレーニングスキルを数時間で収集できることが分かりました。 最後に、訓練されたスキルは、トレーニングで見えない物体の一般化を示すことができる。 holo-dexのビデオはhttps://holo-dex.github.ioで見ることができる。

関連論文リスト

• VITAL: Visual Teleoperation to Enhance Robot Learning through Human-in-the-Loop Corrections [10.49712834719005]
  本稿では,VITAL と呼ばれる双方向操作作業のための低コストな視覚遠隔操作システムを提案する。 われわれのアプローチは、安価なハードウェアとビジュアル処理技術を利用してデモを収集する。 実環境と模擬環境の両方を活用することにより,学習方針の一般化性と堅牢性を高める。
  論文  参考訳（メタデータ） (2024-07-30T23:29:47Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)
• XSkill: Cross Embodiment Skill Discovery [41.624343257852146]
  XSkillは、非ラベルの人間とロボットの操作ビデオから純粋に、スキルプロトタイプと呼ばれるクロスボデーメント表現を発見する模倣学習フレームワークである。 シミュレーションと実環境における実験により,見知らぬタスクのスキル伝達と構成を容易にする技術プロトタイプが発見された。
  論文  参考訳（メタデータ） (2023-07-19T12:51:28Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)
• DexMV: Imitation Learning for Dexterous Manipulation from Human Videos [11.470141313103465]
  本稿では,コンピュータビジョンとロボット学習のギャップを埋めるために,新しいプラットフォームとパイプラインであるDexMVを提案する。 i)多指ロボットハンドによる複雑な操作タスクのシミュレーションシステムと,(ii)人間の手による大規模な実演を記録するコンピュータビジョンシステムとを設計する。 実演ではロボット学習を大きなマージンで改善することができ、強化学習だけでは解決できない複雑なタスクを解決できることが示される。
  論文  参考訳（メタデータ） (2021-08-12T17:51:18Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)
• The Ingredients of Real-World Robotic Reinforcement Learning [71.92831985295163]
  実世界で収集されたデータによって継続的に自律的に改善できるロボット学習システムに必要な要素について論じる。 本稿では,このようなシステムの特異なインスタンス化を事例として,デクスタラスな操作を事例として提案する。 我々は人間の介入なしに学習できることを実証し、現実世界の3本指の手で様々な視覚ベースのスキルを習得する。
  論文  参考訳（メタデータ） (2020-04-27T03:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。