論文の概要: Learning secondary tool affordances of human partners using iCub robot's egocentric data
- arxiv url: http://arxiv.org/abs/2407.11922v1
- Date: Tue, 16 Jul 2024 17:14:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:43:56.125692
- Title: Learning secondary tool affordances of human partners using iCub robot's egocentric data
- Title（参考訳）: iCubロボットの自我中心データを用いたパートナーのセカンダリツール能力の学習
- Authors: Bosong Ding, Erhan Oztop, Giacomo Spigler, Murat Kirtay,
- Abstract要約: 我々は、人間のパートナーの二次ツールの余裕を学習する問題に対処する。
我々は、iCubロボットを使用して、3台のカメラで人間のパートナーを観察し、4つの異なるツールを使用して20個のオブジェクトに対してアクションを実行する。
以上の結果から,iCubロボットは深層学習アーキテクチャにより,セカンダリツールの価格を予測できることが示唆された。
- 参考スコア（独自算出の注目度）: 2.583237671350984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Objects, in particular tools, provide several action possibilities to the agents that can act on them, which are generally associated with the term of affordances. A tool is typically designed for a specific purpose, such as driving a nail in the case of a hammer, which we call as the primary affordance. A tool can also be used beyond its primary purpose, in which case we can associate this auxiliary use with the term secondary affordance. Previous work on affordance perception and learning has been mostly focused on primary affordances. Here, we address the less explored problem of learning the secondary tool affordances of human partners. To do this, we use the iCub robot to observe human partners with three cameras while they perform actions on twenty objects using four different tools. In our experiments, human partners utilize tools to perform actions that do not correspond to their primary affordances. For example, the iCub robot observes a human partner using a ruler for pushing, pulling, and moving objects instead of measuring their lengths. In this setting, we constructed a dataset by taking images of objects before and after each action is executed. We then model learning secondary affordances by training three neural networks (ResNet-18, ResNet-50, and ResNet-101) each on three tasks, using raw images showing the `initial' and `final' position of objects as input: (1) predicting the tool used to move an object, (2) predicting the tool used with an additional categorical input that encoded the action performed, and (3) joint prediction of both tool used and action performed. Our results indicate that deep learning architectures enable the iCub robot to predict secondary tool affordances, thereby paving the road for human-robot collaborative object manipulation involving complex affordances.
- Abstract（参考訳）: オブジェクト、特にツールは、それらに作用できるエージェントにいくつかのアクション可能性を提供します。
ツールは通常、ハンマーの場合、釘を打つなど、特定の目的のために設計されています。
この補助的使用と二次的使用という用語を関連付けることができる場合において、ツールは、その第一の目的を超えても使用できる。
価格知覚と学習に関するこれまでの研究は、主にプライマリ・アプライアンスに焦点が当てられていた。
ここでは、人間のパートナーのセカンダリツールの余裕を学習する際の、あまり検討されていない問題に対処する。
そのために、iCubロボットを使って3台のカメラで人間のパートナーを観察し、20個のオブジェクトに対して4つの異なるツールを使ってアクションを行う。
我々の実験では、人間のパートナーは、プライマリ・アベイランスに対応しない行動を実行するためにツールを利用する。
例えば、iCubロボットは、長さを計測する代わりに、定規を使って物体を押したり引いたり、動かしたりするために人間のパートナーを観察します。
この設定では、各アクションの実行前後のオブジェクトの画像を撮影することでデータセットを構築した。
次に,3つのニューラルネットワーク(ResNet-18,ResNet-50,ResNet-101)を3つのタスクでトレーニングし,対象の「初期」と「最終」の位置を入力として示す生画像を用いて2次学習能力をモデル化した。
以上の結果から,iCubロボットは,複雑な作業量を含む,ロボットとロボットの協調的な操作を行うための道を開くことができることがわかった。
関連論文リスト
- Hand-Object Interaction Pretraining from Videos [77.92637809322231]
我々は,3次元ハンドオブジェクトインタラクショントラジェクトリから,一般的なロボット操作を学習する。
人間の手と操作された物体を3D空間で共有し、人間の動きをロボットの動きと共有する。
我々は、このポリシーを、強化学習(RL)と行動クローニング(BC)の両方で微調整することで、下流タスクへのサンプル効率の適応を可能にし、従来のアプローチと比較して堅牢性と一般化性を同時に改善できることを実証的に実証した。
論文 参考訳（メタデータ） (2024-09-12T17:59:07Z) - Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Grasping in Dexterous Robotics [27.124273762587848]
オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
機能的空き地を特定するための粒度対応型空き地特徴抽出法を提案する。
また,手動物体間相互作用領域において,高活性な粗粒度機能を用いて,握り動作の予測を行う。
これは完全なロボット機能把握フレームワークGAAF-Dexを形成する。
論文 参考訳（メタデータ） (2024-06-30T07:42:57Z) - Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。
既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。
我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
論文 参考訳（メタデータ） (2024-05-25T06:41:23Z) - Learning Generalizable Tool-use Skills through Trajectory Generation [13.879860388944214]
4つの異なる変形可能なオブジェクト操作タスクで1つのモデルをトレーニングします。
モデルは様々な新しいツールに一般化され、ベースラインを大幅に上回る。
トレーニングされたポリシーを、目に見えないツールを使って現実世界でテストし、人間に匹敵するパフォーマンスを実現します。
論文 参考訳（メタデータ） (2023-09-29T21:32:42Z) - Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration [29.998917158604694]
本稿では,ツール使用行動の強化学習を可能にする新しい手法を提案する。
私たちのアプローチは、ひとつのデモだけで新しいカテゴリのツールの操作を学ぶためのスケーラブルな方法を提供します。
学習したポリシーは複雑なツールの使用タスクを解決し、テスト時に見えないツールに一般化する。
論文 参考訳（メタデータ） (2023-07-31T08:49:11Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - How to select and use tools? : Active Perception of Target Objects Using
Multimodal Deep Learning [9.677391628613025]
我々は,ロボットが物体と相互作用する間,マルチモーダル感覚運動子データを用いた能動的知覚に焦点を当てた。
物体の特徴を認識することを学ぶディープニューラルネットワーク(DNN)モデルを構築した。
また, 画像, 力, 触覚データのコントリビューションについても検討し, 多様なマルチモーダル情報を学習することで, ツール使用に対する認知度が向上することを示す。
論文 参考訳（メタデータ） (2021-06-04T12:49:30Z) - TANGO: Commonsense Generalization in Predicting Tool Interactions for
Mobile Manipulators [15.61285199988595]
タスク固有のツール相互作用を予測するための新しいニューラルモデルであるTANGOを紹介します。
TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。
知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2021-05-05T18:11:57Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z) - Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。
対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。
本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
論文 参考訳（メタデータ） (2020-03-12T19:58:03Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。