論文の概要: DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video

• arxiv url: http://arxiv.org/abs/2202.00164v1
• Date: Tue, 1 Feb 2022 00:45:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 15:42:01.187756
• Title: DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video
• Title（参考訳）: DexVIP: ビデオから人間の手の動きを事前に学習する
• Authors: Priyanka Mandikal and Kristen Grauman
• Abstract要約: DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
• 参考スコア（独自算出の注目度）: 86.49357517864937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous multi-fingered robotic hands have a formidable action space, yet their morphological similarity to the human hand holds immense potential to accelerate robot learning. We propose DexVIP, an approach to learn dexterous robotic grasping from human-object interactions present in in-the-wild YouTube videos. We do this by curating grasp images from human-object interaction videos and imposing a prior over the agent's hand pose when learning to grasp with deep reinforcement learning. A key advantage of our method is that the learned policy is able to leverage free-form in-the-wild visual data. As a result, it can easily scale to new objects, and it sidesteps the standard practice of collecting human demonstrations in a lab -- a much more expensive and indirect way to capture human expertise. Through experiments on 27 objects with a 30-DoF simulated robot hand, we demonstrate that DexVIP compares favorably to existing approaches that lack a hand pose prior or rely on specialized tele-operation equipment to obtain human demonstrations, while also being faster to train. Project page: https://vision.cs.utexas.edu/projects/dexvip-dexterous-grasp-pose-prior
• Abstract（参考訳）: 奇抜なマルチフィンガーロボットハンドは、強力なアクションスペースを持っているが、人間の手と形態的な類似性は、ロボット学習を加速する大きな可能性を秘めている。 本研究は,youtubeの動画における人間と物体のインタラクションからロボットによる把握を学習する手法であるdexvipを提案する。 我々は,人間と物体のインタラクションビデオからの把握イメージをキュレートし,深層強化学習による把握を学習する際にエージェントの手のポーズに前置する。 本手法の重要な利点は,学習方針が自由形式の視覚データを活用できることである。 結果として、新しい物体に容易にスケールできるようになり、実験室で人間のデモを集めるという標準的な慣行を脇に置き、人間の専門知識を捉えるためのより高価で間接的な方法となる。 ロボットハンドを30-DoFで模擬した27の物体を実験した結果、手ポーズの無い既存のアプローチや、人間のデモンストレーションを得るための特殊な遠隔操作装置に頼らず、訓練の迅速さを実証した。 プロジェクトページ: https://vision.cs.utexas.edu/projects/dexvip-dexterous-grasp-pose-prior

関連論文リスト

• Bridging the Human to Robot Dexterity Gap through Object-Oriented Rewards [15.605887551756934]
  人間のビデオから直接ロボットを訓練することは、ロボット工学とコンピュータビジョンの新たな分野だ。 この難しさの重要な理由は、人間の手で訓練されたポリシーが、形態的差異のためにロボットの手に直接移行できないことである。 本稿では,人的ビデオからの報酬を直接計算することで,ポリシーのオンライン微調整を可能にする技術であるHuDORを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:41Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• VideoDex: Learning Dexterity from Internet Videos [27.49510986378025]
  私たちは、人間の手を使ったインターネットビデオという、現実世界での体験として、次のベストなものを活用することを提案する。 視覚的特徴などの視覚的先行情報は、しばしばビデオから学習されるが、ビデオからのより多くの情報は、より強力な先行として利用することができる。 我々は、人間のビデオデータセットから視覚的、行動的、身体的優先事項を活用する学習アルゴリズム、VideoDexを構築し、ロボットの振る舞いをガイドする。
  論文  参考訳（メタデータ） (2022-12-08T18:59:59Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• From One Hand to Multiple Hands: Imitation Learning for Dexterous Manipulation from Single-Camera Teleoperation [26.738893736520364]
  我々は,iPadとコンピュータのみで3Dデモを効率的に収集する,新しい単一カメラ遠隔操作システムを提案する。 我々は,操作者の手の構造と形状が同じであるマニピュレータである物理シミュレータにおいて,各ユーザ向けにカスタマイズされたロボットハンドを構築する。 データを用いた模倣学習では、複数の複雑な操作タスクでベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2022-04-26T17:59:51Z)
• DexMV: Imitation Learning for Dexterous Manipulation from Human Videos [11.470141313103465]
  本稿では,コンピュータビジョンとロボット学習のギャップを埋めるために,新しいプラットフォームとパイプラインであるDexMVを提案する。 i)多指ロボットハンドによる複雑な操作タスクのシミュレーションシステムと,(ii)人間の手による大規模な実演を記録するコンピュータビジョンシステムとを設計する。 実演ではロボット学習を大きなマージンで改善することができ、強化学習だけでは解決できない複雑なタスクを解決できることが示される。
  論文  参考訳（メタデータ） (2021-08-12T17:51:18Z)
• Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
  控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。 本稿では,厳密な把握を学習するためのアプローチを提案する。 私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
  論文  参考訳（メタデータ） (2020-09-03T04:00:40Z)
• Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
  本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。 対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。 本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T19:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。