論文の概要: From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation
- arxiv url: http://arxiv.org/abs/2204.12490v1
- Date: Tue, 26 Apr 2022 17:59:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 13:27:32.179273
- Title: From One Hand to Multiple Hands: Imitation Learning for Dexterous
Manipulation from Single-Camera Teleoperation
- Title（参考訳）: 片手から複数手へ:単一カメラ遠隔操作によるデクサラスマニピュレーションのための模倣学習
- Authors: Yuzhe Qin, Hao Su, Xiaolong Wang
- Abstract要約: 我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
- 参考スコア（独自算出の注目度）: 26.738893736520364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose to perform imitation learning for dexterous manipulation with
multi-finger robot hand from human demonstrations, and transfer the policy to
the real robot hand. We introduce a novel single-camera teleoperation system to
collect the 3D demonstrations efficiently with only an iPad and a computer. One
key contribution of our system is that we construct a customized robot hand for
each user in the physical simulator, which is a manipulator resembling the same
kinematics structure and shape of the operator's hand. This provides an
intuitive interface and avoid unstable human-robot hand retargeting for data
collection, leading to large-scale and high quality data. Once the data is
collected, the customized robot hand trajectories can be converted to different
specified robot hands (models that are manufactured) to generate training
demonstrations. With imitation learning using our data, we show large
improvement over baselines with multiple complex manipulation tasks.
Importantly, we show our learned policy is significantly more robust when
transferring to the real robot. More videos can be found in the
https://yzqin.github.io/dex-teleop-imitation .
- Abstract（参考訳）: 本稿では,人間の実演から,多指ロボットハンドを用いたデクスタース操作のための模倣学習を行い,その方針を実ロボットハンドに伝達する。
我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。
本システムの主な貢献は,操作者の手の構造と形状に類似したマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築することである。
これは直感的なインターフェースを提供し、データ収集のための不安定なヒューマンロボットハンドリターゲティングを回避し、大規模で高品質なデータを生み出す。
データが収集されると、カスタマイズされたロボットハンドの軌跡を、特定のロボットハンド(製造されたモデル)に変換して、トレーニングデモを生成する。
データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
重要なことは、実際のロボットに移行する際に、学習方針がはるかに堅牢であることである。
さらなるビデオはhttps://yzqin.github.io/dex-teleop-imitation で見ることができる。
関連論文リスト
- Zero-Cost Whole-Body Teleoperation for Mobile Manipulation [8.71539730969424]
MoMa-Teleopは、ベースモーションを強化学習エージェントに委譲する新しい遠隔操作手法である。
提案手法は,様々なロボットやタスクに対して,タスク完了時間が大幅に短縮されることを実証する。
論文 参考訳（メタデータ） (2024-09-23T15:09:45Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳（メタデータ） (2023-02-03T21:39:52Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-08T15:56:13Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans
on Youtube [24.530131506065164]
我々は、人間なら誰でもロボットの手と腕を制御できるシステムを構築します。
ロボットは、人間のオペレーターを1台のRGBカメラで観察し、その動作をリアルタイムで模倣する。
我々はこのデータを利用して、人間の手を理解するシステムを訓練し、人間のビデオストリームをスムーズで、素早く、安全に、意味論的に誘導デモに類似したロボットのハンドアーム軌道に再ターゲティングする。
論文 参考訳（メタデータ） (2022-02-21T18:59:59Z) - DexMV: Imitation Learning for Dexterous Manipulation from Human Videos [11.470141313103465]
本稿では,コンピュータビジョンとロボット学習のギャップを埋めるために,新しいプラットフォームとパイプラインであるDexMVを提案する。
i)多指ロボットハンドによる複雑な操作タスクのシミュレーションシステムと,(ii)人間の手による大規模な実演を記録するコンピュータビジョンシステムとを設計する。
実演ではロボット学習を大きなマージンで改善することができ、強化学習だけでは解決できない複雑なタスクを解決できることが示される。
論文 参考訳（メタデータ） (2021-08-12T17:51:18Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。