論文の概要: PGA: Personalizing Grasping Agents with Single Human-Robot Interaction
- arxiv url: http://arxiv.org/abs/2310.12547v1
- Date: Thu, 19 Oct 2023 07:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 16:14:31.988833
- Title: PGA: Personalizing Grasping Agents with Single Human-Robot Interaction
- Title（参考訳）: PGA: 単一ロボットインタラクションによるグラフピングエージェントのパーソナライズ
- Authors: Junghyun Kim, Gi-Cheon Kang, Jaein Kim, Seoyun Yang, Minjoon Jung,
Byoung-Tak Zhang
- Abstract要約: LCRG(Language-Conditioned Robotic Grasping)は、自然言語の指示に基づいて物体を接地・把握するロボットを開発することを目的としている。
本研究では,一人の人間-ロボットのインタラクションから学ぶことによって,個人的指標が与えられた個人的対象を特定し,把握することを目的としたタスクシナリオGraspMineを紹介する。
本稿では,PGA(Personalized Grasping Agent)を提案する。
- 参考スコア（独自算出の注目度）: 20.746396606917617
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language-Conditioned Robotic Grasping (LCRG) aims to develop robots that
ground and grasp objects based on natural language instructions. While robots
capable of recognizing personal objects like "my wallet" can interact more
naturally with non-expert users, current LCRG systems primarily limit robots to
understanding only generic expressions. To this end, we introduce a task
scenario GraspMine with a novel dataset that aims to locate and grasp personal
objects given personal indicators via learning from a single human-robot
interaction. To address GraspMine, we propose Personalized Grasping Agent
(PGA), that learns personal objects by propagating user-given information
through a Reminiscence-a collection of raw images from the user's environment.
Specifically, PGA acquires personal object information by a user presenting a
personal object with its associated indicator, followed by PGA inspecting the
object by rotating it. Based on the acquired information, PGA pseudo-labels
objects in the Reminiscence by our proposed label propagation algorithm.
Harnessing the information acquired from the interactions and the
pseudo-labeled objects in the Reminiscence, PGA adapts the object grounding
model to grasp personal objects. Experiments on GraspMine show that PGA
significantly outperforms baseline methods both in offline and online settings,
signifying its effectiveness and personalization applicability on real-world
scenarios. Finally, qualitative analysis shows the effectiveness of PGA through
a detailed investigation of results in each phase.
- Abstract（参考訳）: 言語条件ロボット把持(lcrg)は、自然言語指示に基づいて物体を接地・把持するロボットを開発することを目的としている。
私の財布”のような個人オブジェクトを認識できるロボットは、専門家でないユーザとより自然に対話できるが、現在のLCRGシステムは主に、汎用表現のみを理解することをロボットに制限している。
そこで本研究では,人間とロボットの1つのインタラクションから学習することで,与えられた個人的指標を探索し把握することを目的とした,新しいデータセットを用いたタスクシナリオgrabmineを提案する。
そこで本研究では,ユーザ環境からの生画像の収集を想起して,ユーザ情報伝達により個人オブジェクトを学習するパーソナライズド把持エージェント(pga)を提案する。
具体的には、PGAは、個人オブジェクトに関連指標を提示するユーザによって個人オブジェクト情報を取得し、PGAはそれを回転させてオブジェクトを検査する。
得られた情報に基づいて,提案したラベル伝搬アルゴリズムにより,PGAの擬似ラベルオブジェクトを記憶する。
インタラクションから得られた情報と擬似ラベルされたオブジェクトを思い起こさせ、pgaはオブジェクトの接地モデルを適用して個人オブジェクトを把握します。
GraspMineの実験では、PGAはオフラインとオンラインの両方でベースラインメソッドよりも大幅に優れており、実世界のシナリオにおけるその有効性とパーソナライズの適用性を示している。
最後に、定性的分析は、各相における結果の詳細な調査を通して、PGAの有効性を示す。
関連論文リスト
- Keypoint Abstraction using Large Models for Object-Relative Imitation Learning [78.92043196054071]
多様なタスクや環境にまたがる新しいオブジェクト構成やインスタンスへの一般化は、ロボット工学において重要な課題である。
キーポイントに基づく表現は、本質的なオブジェクトキャプチャ機能のための簡潔な表現として有効であることが証明されている。
本稿では,タスク関連およびクロスインスタンス整合性キーポイントの自動生成に,大規模な事前学習型視覚言語モデルを活用するフレームワークであるKALMを提案する。
論文 参考訳（メタデータ） (2024-10-30T17:37:31Z) - Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-10-04T20:48:38Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳（メタデータ） (2024-01-18T12:41:41Z) - Learning-To-Rank Approach for Identifying Everyday Objects Using a
Physical-World Search Engine [0.8749675983608172]
我々は,オープン語彙のユーザ命令から対象オブジェクトをループで検索する作業に焦点をあてる。
本稿では,学習からランクの物理オブジェクトタスクのための新しいアプローチであるMultiRankItを提案する。
論文 参考訳（メタデータ） (2023-12-26T01:40:31Z) - PROGrasp: Pragmatic Human-Robot Communication for Object Grasping [22.182690439449278]
対話型オブジェクトグラスピング(IOG)は、人間とロボットの自然言語による対話を通じて、望ましいオブジェクトを識別し、把握するタスクである。
Pragmatic-IOG タスクとそれに対応するデータセット Intention-oriented Multi-Modal Dialogue (IM-Dial) を導入する。
Prograspは、視覚的なグラウンドニング、質問、オブジェクトの把握、そして最も重要なのは、実用的推論の解答解釈のモジュールを組み込むことで、Pragmatic-IOGを実行する。
論文 参考訳（メタデータ） (2023-09-14T14:45:47Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z) - H2O: A Benchmark for Visual Human-human Object Handover Analysis [45.27427828040923]
ヒトとヒトのオブジェクトハンドオーバを視覚的に解析するための新しいリッチアノテートデータセットH2Oを提案する。
データセットには、30のオブジェクトを互いに渡す15人を含む18kのビデオクリップが含まれている。
視覚に基づくタスクを複数サポートできるが、そこからはReceer Grasp Prediction と呼ばれる未探索のタスクに対して、ベースラインメソッド RGPNet が具体的に提供される。
論文 参考訳（メタデータ） (2021-04-23T08:30:54Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z) - Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。
推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
論文 参考訳（メタデータ） (2020-04-25T23:02:04Z) - Mining Implicit Entity Preference from User-Item Interaction Data for
Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。
我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。
利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2020-03-28T05:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。