論文の概要: Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube

• arxiv url: http://arxiv.org/abs/2202.10448v1
• Date: Mon, 21 Feb 2022 18:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-22 15:56:38.705694
• Title: Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube
• Title（参考訳）: ロボット・テレキネシス:youtubeで人間を観てロボットの手の模倣者を学ぶ
• Authors: Aravind Sivakumar, Kenneth Shaw, Deepak Pathak
• Abstract要約: 我々は、人間なら誰でもロボットの手と腕を制御できるシステムを構築します。 ロボットは、人間のオペレーターを1台のRGBカメラで観察し、その動作をリアルタイムで模倣する。 我々はこのデータを利用して、人間の手を理解するシステムを訓練し、人間のビデオストリームをスムーズで、素早く、安全に、意味論的に誘導デモに類似したロボットのハンドアーム軌道に再ターゲティングする。
• 参考スコア（独自算出の注目度）: 24.530131506065164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We build a system that enables any human to control a robot hand and arm, simply by demonstrating motions with their own hand. The robot observes the human operator via a single RGB camera and imitates their actions in real-time. Human hands and robot hands differ in shape, size, and joint structure, and performing this translation from a single uncalibrated camera is a highly underconstrained problem. Moreover, the retargeted trajectories must effectively execute tasks on a physical robot, which requires them to be temporally smooth and free of self-collisions. Our key insight is that while paired human-robot correspondence data is expensive to collect, the internet contains a massive corpus of rich and diverse human hand videos. We leverage this data to train a system that understands human hands and retargets a human video stream into a robot hand-arm trajectory that is smooth, swift, safe, and semantically similar to the guiding demonstration. We demonstrate that it enables previously untrained people to teleoperate a robot on various dexterous manipulation tasks. Our low-cost, glove-free, marker-free remote teleoperation system makes robot teaching more accessible and we hope that it can aid robots that learn to act autonomously in the real world. Videos at https://robotic-telekinesis.github.io/
• Abstract（参考訳）: 我々は、人間なら誰でもロボットの手と腕を制御できるシステムを構築します。 ロボットは人間のオペレータを単一のrgbカメラで観察し、その動作をリアルタイムで模倣する。 人間の手とロボットの手は形状、大きさ、関節構造が異なり、単一の未調整カメラからのこの翻訳は、非常に制約の少ない問題である。 さらに、リターゲットされた軌道は、物理的ロボットのタスクを効果的に実行しなければなりません。 私たちの重要な洞察は、ペアの人間ロボット対応データを集めるのに費用がかかる一方で、インターネットにはリッチで多様な人手ビデオの膨大なコーパスが含まれているということです。 我々はこのデータを利用して、人間の手を理解するシステムを訓練し、人間のビデオストリームをスムーズで、素早く、安全に、意味論的に誘導デモに類似したロボットのハンドアーム軌道に再ターゲティングする。 我々は、訓練を受けていない人が様々な操作タスクでロボットを遠隔操作できることを実証する。 低コストで手袋なし、マーカーなしの遠隔遠隔操作システムにより、ロボットの教育がよりアクセスしやすくなり、現実世界で自律的に行動することを学ぶロボットを支援できることを願っている。 https://robotic-telekinesis.github.io/

関連論文リスト

• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space [9.806227900768926]
  本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。 本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。 我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
  論文  参考訳（メタデータ） (2023-09-11T08:55:04Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)
• Know Thyself: Transferable Visuomotor Control Through Robot-Awareness [22.405839096833937]
  新しいロボットをスクラッチからトレーニングするためには、通常大量のロボット固有のデータを生成する必要がある。 簡単なロボット「自己認識」を活用する「ロボット認識」ソリューションパラダイムを提案する。 シミュレーションおよび実際のロボットにおけるテーブルトップ操作に関する実験により、これらのプラグインの改善により、ビジュモータコントローラの転送性が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2021-07-19T17:56:04Z)
• OpenBot: Turning Smartphones into Robots [95.94432031144716]
  現在のロボットは高価か、感覚豊かさ、計算能力、通信能力に重大な妥協をもたらす。 我々はスマートフォンを活用して、センサースイート、強力な計算能力、最先端通信チャネル、繁栄するソフトウェアエコシステムへのアクセスなどを備えたロボットを装備することを提案する。 われわれは50ドルの小型電気自動車を設計し、標準のAndroidスマートフォンのロボットボディとして機能する。
  論文  参考訳（メタデータ） (2020-08-24T18:04:50Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。