論文の概要: Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics
- arxiv url: http://arxiv.org/abs/2407.00614v1
- Date: Sun, 30 Jun 2024 07:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:26:49.421863
- Title: Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics
- Title（参考訳）: Dexterous Roboticsにおけるツールベース機能グラスピングのための人間と物体の相互作用による粒度認識精度の学習
- Authors: Fan Yang, Wenrui Chen, Kailun Yang, Haoran Lin, DongSheng Luo, Conghui Tang, Zhiyong Li, Yaonan Wang,
- Abstract要約: オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
機能的空き地を特定するための粒度対応型空き地特徴抽出法を提案する。
また,手動物体間相互作用領域において,高活性な粗粒度機能を用いて,握り動作の予測を行う。
これは完全なロボット機能把握フレームワークGAAF-Dexを形成する。
- 参考スコア（独自算出の注目度）: 27.124273762587848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To enable robots to use tools, the initial step is teaching robots to employ dexterous gestures for touching specific areas precisely where tasks are performed. Affordance features of objects serve as a bridge in the functional interaction between agents and objects. However, leveraging these affordance cues to help robots achieve functional tool grasping remains unresolved. To address this, we propose a granularity-aware affordance feature extraction method for locating functional affordance areas and predicting dexterous coarse gestures. We study the intrinsic mechanisms of human tool use. On one hand, we use fine-grained affordance features of object-functional finger contact areas to locate functional affordance regions. On the other hand, we use highly activated coarse-grained affordance features in hand-object interaction regions to predict grasp gestures. Additionally, we introduce a model-based post-processing module that includes functional finger coordinate localization, finger-to-end coordinate transformation, and force feedback-based coarse-to-fine grasping. This forms a complete dexterous robotic functional grasping framework GAAF-Dex, which learns Granularity-Aware Affordances from human-object interaction for tool-based Functional grasping in Dexterous Robotics. Unlike fully-supervised methods that require extensive data annotation, we employ a weakly supervised approach to extract relevant cues from exocentric (Exo) images of hand-object interactions to supervise feature extraction in egocentric (Ego) images. We have constructed a small-scale dataset, FAH, which includes near 6K images of functional hand-object interaction Exo- and Ego images of 18 commonly used tools performing 6 tasks. Extensive experiments on the dataset demonstrate our method outperforms state-of-the-art methods. The code will be made publicly available at https://github.com/yangfan293/GAAF-DEX.
- Abstract（参考訳）: ロボットがツールを使えるようにするために、最初のステップは、タスクが実行された特定の領域に正確に触れるための巧妙なジェスチャーをロボットに教えることだ。
オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
しかし、ロボットが機能的なツールをつかむのを助けるためにこれらの余裕の手段を活用することは未解決のままである。
そこで本研究では,機能的アベイランス領域の特定と粗いジェスチャーの予測を行うための,粒度を考慮したアベイランス特徴抽出手法を提案する。
ヒトの道具使用の本質的なメカニズムについて検討する。
一方,機能的手指接触領域の細粒度化機能を用いて機能的手指接触領域の特定を行う。
一方,手動物体間相互作用領域において,高活性な粗粒度機能を用いて動作の把握を行う。
さらに,機能的な指座標の定位,指対端の座標変換,力フィードバックによる粗さと微細さの把握を含むモデルベースの後処理モジュールを提案する。
GAAF-Dexは、Dexterous Roboticsにおけるツールベースの機能的把握のための人間と物体の相互作用からグラニュラリティ・アウェア・アフォーマンスを学習する。
広範囲なデータアノテーションを必要とする完全教師付き手法とは違って,エゴセントリック(エゴ)画像の特徴抽出を監督するために,手動物体相互作用のエクソセントリック(Exo)画像から関連する手がかりを抽出する弱い教師付き手法を用いる。
我々は,機能的ハンドオブジェクトインタラクションの約6Kイメージを含む小型データセットFAHを構築した。
データセットに関する大規模な実験は、我々の手法が最先端の手法より優れていることを示す。
コードはhttps://github.com/yangfan293/GAAF-DEXで公開される。
関連論文リスト
- FunGrasp: Functional Grasping for Diverse Dexterous Hands [8.316017819784603]
本稿では,FunGraspを紹介した。FunGraspは,各種ロボットハンドを機能的に把握するシステムである。
頑健なsim-to-real転送を実現するために,特権学習,システム識別,ドメインランダム化,重力補償など,いくつかの手法を用いる。
論文 参考訳（メタデータ） (2024-11-24T07:30:54Z) - Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-24T17:59:56Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - How to select and use tools? : Active Perception of Target Objects Using
Multimodal Deep Learning [9.677391628613025]
我々は,ロボットが物体と相互作用する間,マルチモーダル感覚運動子データを用いた能動的知覚に焦点を当てた。
物体の特徴を認識することを学ぶディープニューラルネットワーク(DNN)モデルを構築した。
また, 画像, 力, 触覚データのコントリビューションについても検討し, 多様なマルチモーダル情報を学習することで, ツール使用に対する認知度が向上することを示す。
論文 参考訳（メタデータ） (2021-06-04T12:49:30Z) - TANGO: Commonsense Generalization in Predicting Tool Interactions for
Mobile Manipulators [15.61285199988595]
タスク固有のツール相互作用を予測するための新しいニューラルモデルであるTANGOを紹介します。
TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。
知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2021-05-05T18:11:57Z) - Learning Visually Guided Latent Actions for Assistive Teleoperation [9.75385535829762]
視覚入力に潜伏埋め込みを条件とした補助ロボットを開発。
少量の安価で収集しやすい構造データに予め訓練されたオブジェクト検出器を組み込むことにより、i)現在のコンテキストを正確に認識し、ii)新しいオブジェクトやタスクへの制御埋め込みを一般化する。
論文 参考訳（メタデータ） (2021-05-02T23:58:28Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。