論文の概要: Learning Dexterous Grasping with Object-Centric Visual Affordances

• arxiv url: http://arxiv.org/abs/2009.01439v2
• Date: Wed, 16 Jun 2021 22:28:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 07:52:17.186617
• Title: Learning Dexterous Grasping with Object-Centric Visual Affordances
• Title（参考訳）: 物体中心の視力によるデクセラスグラスピングの学習
• Authors: Priyanka Mandikal, Kristen Grauman
• Abstract要約: 控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。 本稿では,厳密な把握を学習するためのアプローチを提案する。 私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
• 参考スコア（独自算出の注目度）: 86.49357517864937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous robotic hands are appealing for their agility and human-like morphology, yet their high degree of freedom makes learning to manipulate challenging. We introduce an approach for learning dexterous grasping. Our key idea is to embed an object-centric visual affordance model within a deep reinforcement learning loop to learn grasping policies that favor the same object regions favored by people. Unlike traditional approaches that learn from human demonstration trajectories (e.g., hand joint sequences captured with a glove), the proposed prior is object-centric and image-based, allowing the agent to anticipate useful affordance regions for objects unseen during policy learning. We demonstrate our idea with a 30-DoF five-fingered robotic hand simulator on 40 objects from two datasets, where it successfully and efficiently learns policies for stable functional grasps. Our affordance-guided policies are significantly more effective, generalize better to novel objects, train 3 X faster than the baselines, and are more robust to noisy sensor readings and actuation. Our work offers a step towards manipulation agents that learn by watching how people use objects, without requiring state and action information about the human body. Project website: http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp
• Abstract（参考訳）: ロボットの手は、その俊敏さと人間のような形態に訴えていますが、その高い自由度は、挑戦を操ることの学習に役立ちます。 我々は,デクスタース把握を学ぶためのアプローチを提案する。 私たちの重要なアイデアは、深層強化学習ループにオブジェクト中心のビジュアルアプライアンスモデルを埋め込み、人々が好む同じオブジェクト領域を好む把握ポリシーを学ぶことです。 従来のヒトの実証軌道から学習するアプローチ(例えば、手袋で捕獲された手関節列)とは異なり、提案されたアプローチはオブジェクト中心で画像ベースであり、エージェントはポリシー学習中に見えないオブジェクトの有用な余裕領域を予測できる。 2つのデータセットから40個のオブジェクト上に30-DoFの5本指のロボットハンドシミュレータを配置し、安定な機能的把握のためのポリシーを成功かつ効率的に学習する。 当社のアプライアンスガイドのポリシーは、はるかに効果的で、新しいオブジェクトに一般化し、ベースラインよりも3倍高速にトレーニングし、騒がしいセンサーの読み取りやアクティベーションよりも堅牢です。 私たちの研究は、人間の身体の状態や行動に関する情報を必要とせずに、人々がどのようにオブジェクトを使用するかを見ることで学習するエージェントを操作するためのステップを提供します。 プロジェクトwebサイト: http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp

関連論文リスト

• Hand-Object Interaction Pretraining from Videos [77.92637809322231]
  我々は,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習する。 人間の手と操作された物体を3D空間で共有し、人間の動きをロボットの動きと共有する。 我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-09-12T17:59:07Z)
• GraspXL: Generating Grasping Motions for Diverse Objects at Scale [30.104108863264706]
  政策学習フレームワークGraspXLにおいて,複数の動作目標に対して手物体の把握動作の発生を統一する。 58個のオブジェクトでトレーニングされたポリシーは、成功率82.2%の500万以上の未確認オブジェクトに対して、多様な把握動作を堅牢に合成することができる。 私たちのフレームワークは、さまざまな手元にデプロイでき、再構築または生成されたオブジェクトで作業できます。
  論文  参考訳（メタデータ） (2024-03-28T17:57:27Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations [51.87067543670535]
  本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。 我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。 我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-09-28T17:51:49Z)
• Learning Generalizable Dexterous Manipulation from Human Grasp Affordance [11.060931225148936]
  マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。 模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。 本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
  論文  参考訳（メタデータ） (2022-04-05T16:26:22Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)
• Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos [28.712673809577076]
  本稿では,ロボット操作作業のための人間ビデオからの物理模倣手法を提案する。 人間のビデオをロボットドメインに翻訳し,教師なしのキーポイント検出を行う知覚モジュールを設計した。 リーチ、プッシュ、スライディング、コーヒー製造、引き出しの閉鎖を含む5つのロボット操作タスクに対するアプローチの有効性を評価します。
  論文  参考訳（メタデータ） (2021-01-18T18:50:32Z)
• Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
  人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。 一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。 本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
  論文  参考訳（メタデータ） (2020-11-13T08:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。