論文の概要: DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
- arxiv url: http://arxiv.org/abs/2403.07788v2
- Date: Thu, 4 Jul 2024 04:35:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 23:33:46.547242
- Title: DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
- Title（参考訳）: DexCap: Dexterous ManipulationのためのスケーラブルでポータブルなMocapデータ収集システム
- Authors: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, C. Karen Liu,
- Abstract要約: 人間の手の動きデータからの模倣学習は、現実世界の操作タスクにおいて、人間のような器用さでロボットを倒すための有望な道を示す。
携帯型ハンドモーションキャプチャシステムであるDexCapとDexILを紹介する。
- 参考スコア（独自算出の注目度）: 28.37054959647664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imitation learning from human hand motion data presents a promising avenue for imbuing robots with human-like dexterity in real-world manipulation tasks. Despite this potential, substantial challenges persist, particularly with the portability of existing hand motion capture (mocap) systems and the complexity of translating mocap data into effective robotic policies. To tackle these issues, we introduce DexCap, a portable hand motion capture system, alongside DexIL, a novel imitation algorithm for training dexterous robot skills directly from human hand mocap data. DexCap offers precise, occlusion-resistant tracking of wrist and finger motions based on SLAM and electromagnetic field together with 3D observations of the environment. Utilizing this rich dataset, DexIL employs inverse kinematics and point cloud-based imitation learning to seamlessly replicate human actions with robot hands. Beyond direct learning from human motion, DexCap also offers an optional human-in-the-loop correction mechanism during policy rollouts to refine and further improve task performance. Through extensive evaluation across six challenging dexterous manipulation tasks, our approach not only demonstrates superior performance but also showcases the system's capability to effectively learn from in-the-wild mocap data, paving the way for future data collection methods in the pursuit of human-level robot dexterity. More details can be found at https://dex-cap.github.io
- Abstract（参考訳）: 人間の手の動きデータからの模倣学習は、現実世界の操作タスクにおいて、人間のような器用さでロボットを倒すための有望な道を示す。
この可能性にもかかわらず、特に既存の手動キャプチャ(モキャップ)システムの移植性や、モキャップデータを効果的なロボットポリシーに変換する複雑さなど、重大な課題が続いている。
これらの課題に対処するために、携帯型手動キャプチャシステムであるDexCapと、人間の手動モカプデータから直接、器用なロボットスキルを訓練するための新しい模倣アルゴリズムであるDexILを紹介する。
DexCapは、SLAMと電磁場に基づく手首と指の動きの精密で閉塞に強い追跡と環境の3D観察を提供する。
このリッチデータセットを利用することで、DexILは逆キネマティクスとポイントクラウドベースの模倣学習を使用して、ロボット手で人間のアクションをシームレスに複製する。
人間の動きから直接学習するだけでなく、DexCapはポリシーのロールアウト中にオプションでヒューマン・イン・ザ・ループの補正メカニズムを提供し、タスクパフォーマンスを洗練し、さらに改善する。
課題6つのデキスタラスな操作タスクに対する広範囲な評価を通じて,本手法は優れた性能を示すだけでなく,既存のモカプデータから効果的に学習し,人間レベルのデキスタリティを追求するための将来的なデータ収集手法の道筋を示す。
詳細はhttps://dex-cap.github.ioで確認できる。
関連論文リスト
- DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。
私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。
また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
論文 参考訳（メタデータ） (2024-10-31T17:48:45Z) - RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。
RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
論文 参考訳（メタデータ） (2024-02-21T14:59:46Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-08T15:56:13Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal
Human Demonstrations [51.87067543670535]
本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。
我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。
我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
論文 参考訳（メタデータ） (2022-09-28T17:51:49Z) - MoCapAct: A Multi-Task Dataset for Simulated Humanoid Control [15.848947335588301]
私たちは、専門家エージェントとそのロールアウトのデータセットであるMoCapActをリリースします。
Dm_control内でMoCapデータセット全体を追跡可能な単一の階層的なポリシをトレーニングするために,MoCapActの有用性を実証する。
論文 参考訳（メタデータ） (2022-08-15T17:57:33Z) - From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation [26.738893736520364]
我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2022-04-26T17:59:51Z) - Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。
本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。
ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
論文 参考訳（メタデータ） (2022-03-31T23:08:20Z) - Imitate and Repurpose: Learning Reusable Robot Movement Skills From
Human and Animal Behaviors [28.22210425264389]
そこで本研究では,人間と動物の運動に関する事前知識を用いて,実足歩行ロボットの運動能力を学習する。
我々のアプローチは、人や犬のモーションキャプチャー(MoCap)データを模倣して、運動スキルモジュールを学ぶという以前の研究に基づいている。
論文 参考訳（メタデータ） (2022-03-31T16:01:32Z) - DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from
Video [86.49357517864937]
DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。
我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。
DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
論文 参考訳（メタデータ） (2022-02-01T00:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。