論文の概要: Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics
- arxiv url: http://arxiv.org/abs/2407.00614v1
- Date: Sun, 30 Jun 2024 07:42:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 02:26:49.421863
- Title: Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics
- Title（参考訳）: Dexterous Roboticsにおけるツールベース機能グラスピングのための人間と物体の相互作用による粒度認識精度の学習
- Authors: Fan Yang, Wenrui Chen, Kailun Yang, Haoran Lin, DongSheng Luo, Conghui Tang, Zhiyong Li, Yaonan Wang,
- Abstract要約: オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
機能的空き地を特定するための粒度対応型空き地特徴抽出法を提案する。
また,手動物体間相互作用領域において,高活性な粗粒度機能を用いて,握り動作の予測を行う。
これは完全なロボット機能把握フレームワークGAAF-Dexを形成する。
- 参考スコア（独自算出の注目度）: 27.124273762587848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To enable robots to use tools, the initial step is teaching robots to employ dexterous gestures for touching specific areas precisely where tasks are performed. Affordance features of objects serve as a bridge in the functional interaction between agents and objects. However, leveraging these affordance cues to help robots achieve functional tool grasping remains unresolved. To address this, we propose a granularity-aware affordance feature extraction method for locating functional affordance areas and predicting dexterous coarse gestures. We study the intrinsic mechanisms of human tool use. On one hand, we use fine-grained affordance features of object-functional finger contact areas to locate functional affordance regions. On the other hand, we use highly activated coarse-grained affordance features in hand-object interaction regions to predict grasp gestures. Additionally, we introduce a model-based post-processing module that includes functional finger coordinate localization, finger-to-end coordinate transformation, and force feedback-based coarse-to-fine grasping. This forms a complete dexterous robotic functional grasping framework GAAF-Dex, which learns Granularity-Aware Affordances from human-object interaction for tool-based Functional grasping in Dexterous Robotics. Unlike fully-supervised methods that require extensive data annotation, we employ a weakly supervised approach to extract relevant cues from exocentric (Exo) images of hand-object interactions to supervise feature extraction in egocentric (Ego) images. We have constructed a small-scale dataset, FAH, which includes near 6K images of functional hand-object interaction Exo- and Ego images of 18 commonly used tools performing 6 tasks. Extensive experiments on the dataset demonstrate our method outperforms state-of-the-art methods. The code will be made publicly available at https://github.com/yangfan293/GAAF-DEX.
- Abstract（参考訳）: ロボットがツールを使えるようにするために、最初のステップは、タスクが実行された特定の領域に正確に触れるための巧妙なジェスチャーをロボットに教えることだ。
オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
しかし、ロボットが機能的なツールをつかむのを助けるためにこれらの余裕の手段を活用することは未解決のままである。
そこで本研究では,機能的アベイランス領域の特定と粗いジェスチャーの予測を行うための,粒度を考慮したアベイランス特徴抽出手法を提案する。
ヒトの道具使用の本質的なメカニズムについて検討する。
一方,機能的手指接触領域の細粒度化機能を用いて機能的手指接触領域の特定を行う。
一方,手動物体間相互作用領域において,高活性な粗粒度機能を用いて動作の把握を行う。
さらに,機能的な指座標の定位,指対端の座標変換,力フィードバックによる粗さと微細さの把握を含むモデルベースの後処理モジュールを提案する。
GAAF-Dexは、Dexterous Roboticsにおけるツールベースの機能的把握のための人間と物体の相互作用からグラニュラリティ・アウェア・アフォーマンスを学習する。
広範囲なデータアノテーションを必要とする完全教師付き手法とは違って,エゴセントリック(エゴ)画像の特徴抽出を監督するために,手動物体相互作用のエクソセントリック(Exo)画像から関連する手がかりを抽出する弱い教師付き手法を用いる。
我々は,機能的ハンドオブジェクトインタラクションの約6Kイメージを含む小型データセットFAHを構築した。
データセットに関する大規模な実験は、我々の手法が最先端の手法より優れていることを示す。
コードはhttps://github.com/yangfan293/GAAF-DEXで公開される。
関連論文リスト
- Learning secondary tool affordances of human partners using iCub robot's egocentric data [2.583237671350984]
我々は、人間のパートナーの二次ツールの余裕を学習する問題に対処する。
我々は、iCubロボットを使用して、3台のカメラで人間のパートナーを観察し、4つの異なるツールを使用して20個のオブジェクトに対してアクションを実行する。
以上の結果から,iCubロボットは深層学習アーキテクチャにより,セカンダリツールの価格を予測できることが示唆された。
論文 参考訳（メタデータ） (2024-07-16T17:14:13Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - Information-driven Affordance Discovery for Efficient Robotic Manipulation [14.863105174430087]
環境との双方向な相互作用はこの問題を軽減することができると我々は主張する。
我々は,本手法の理論的正当性を提供し,シミュレーションと実世界の課題の両方において,そのアプローチを実証的に検証する。
IDAをダブした本手法は,複数のアクションプリミティブに対する視覚的アベイランスの効率的な発見を可能にする。
論文 参考訳（メタデータ） (2024-05-06T21:25:51Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳（メタデータ） (2022-12-19T22:50:40Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳（メタデータ） (2021-11-07T02:31:09Z) - How to select and use tools? : Active Perception of Target Objects Using
Multimodal Deep Learning [9.677391628613025]
我々は,ロボットが物体と相互作用する間,マルチモーダル感覚運動子データを用いた能動的知覚に焦点を当てた。
物体の特徴を認識することを学ぶディープニューラルネットワーク(DNN)モデルを構築した。
また, 画像, 力, 触覚データのコントリビューションについても検討し, 多様なマルチモーダル情報を学習することで, ツール使用に対する認知度が向上することを示す。
論文 参考訳（メタデータ） (2021-06-04T12:49:30Z) - TANGO: Commonsense Generalization in Predicting Tool Interactions for
Mobile Manipulators [15.61285199988595]
タスク固有のツール相互作用を予測するための新しいニューラルモデルであるTANGOを紹介します。
TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。
知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2021-05-05T18:11:57Z) - Learning Visually Guided Latent Actions for Assistive Teleoperation [9.75385535829762]
視覚入力に潜伏埋め込みを条件とした補助ロボットを開発。
少量の安価で収集しやすい構造データに予め訓練されたオブジェクト検出器を組み込むことにより、i)現在のコンテキストを正確に認識し、ii)新しいオブジェクトやタスクへの制御埋め込みを一般化する。
論文 参考訳（メタデータ） (2021-05-02T23:58:28Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T23:59:09Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。