論文の概要: Navigating to Success in Multi-Modal Human-Robot Collaboration: Analysis
and Corpus Release
- arxiv url: http://arxiv.org/abs/2310.17568v1
- Date: Thu, 26 Oct 2023 16:56:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 18:56:26.008772
- Title: Navigating to Success in Multi-Modal Human-Robot Collaboration: Analysis
and Corpus Release
- Title（参考訳）: マルチモーダルなヒューマンロボットコラボレーションの成功への旅:分析とコーパスリリース
- Authors: Stephanie M. Lukin and Kimberly A. Pollard and Claire Bonial and
Taylor Hudson and Ron Arstein and Clare Voss and David Traum
- Abstract要約: 人間誘導型ロボット探査は、遠隔地で情報を集めるための有用なアプローチである。
リモートロケーションされたパートナー間の共通基盤を維持することは、課題である。
我々は,ロボットパートナーの助けを借りて遠隔地を調査するために,参加者が複数のモダリティを利用する方法を探る。
- 参考スコア（独自算出の注目度）: 2.467008547326945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-guided robotic exploration is a useful approach to gathering
information at remote locations, especially those that might be too risky,
inhospitable, or inaccessible for humans. Maintaining common ground between the
remotely-located partners is a challenge, one that can be facilitated by
multi-modal communication. In this paper, we explore how participants utilized
multiple modalities to investigate a remote location with the help of a robotic
partner. Participants issued spoken natural language instructions and received
from the robot: text-based feedback, continuous 2D LIDAR mapping, and
upon-request static photographs. We noticed that different strategies were
adopted in terms of use of the modalities, and hypothesize that these
differences may be correlated with success at several exploration sub-tasks. We
found that requesting photos may have improved the identification and counting
of some key entities (doorways in particular) and that this strategy did not
hinder the amount of overall area exploration. Future work with larger samples
may reveal the effects of more nuanced photo and dialogue strategies, which can
inform the training of robotic agents. Additionally, we announce the release of
our unique multi-modal corpus of human-robot communication in an exploration
context: SCOUT, the Situated Corpus on Understanding Transactions.
- Abstract（参考訳）: 人間誘導型ロボット探査は、遠隔地、特に危険すぎる、不安定な、あるいは人間に近づかない情報を集めるための有用なアプローチである。
遠隔地にあるパートナ間の共通基盤を維持することは、マルチモーダル通信によって促進される課題である。
本稿では,ロボットパートナーの助けを借りて,遠隔地調査に複数のモダリティを用いた方法を検討する。
参加者は、テキストベースのフィードバック、連続した2D LIDARマッピング、オンデマンドの静止写真など、自然言語による指示を発し、ロボットから受け取った。
モーダルティの利用に関して異なる戦略が採用されたことに気付き、これらの違いがいくつかの探索サブタスクの成功と相関する可能性があると仮説を立てた。
その結果,画像の要求により,重要なエンティティ(特に道路)の識別とカウントが向上し,この戦略が地域調査全体の妨げにならないことがわかった。
大きなサンプルを使った今後の研究は、よりニュアンス的な写真と対話戦略の効果を明らかにし、ロボットエージェントの訓練を知らせるかもしれない。
さらに,人間-ロボットコミュニケーションのユニークなマルチモーダルコーパス(SCOUT, Situated Corpus on Understanding Transactions)のリリースも発表した。
関連論文リスト
- Human-Robot Dialogue Annotation for Multi-Modal Common Ground [4.665414514091581]
本稿では,人間とロボットの対話データにアノテートした記号表現の開発について述べる。
遠隔対話では,人間とロボットが不慣れな環境における共同ナビゲーションと探索作業に従事しているが,ロボットは限られた通信制約のため,すぐには高品質な視覚情報を共有できない。
このパラダイム内では、抽象的意味表現の強化である対話-AMRアノテーションを通じて、対話中の1つの発話の命題意味と補間力を取り込む。
論文 参考訳（メタデータ） (2024-11-19T19:33:54Z) - A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [39.87346821309096]
本稿では,従来のSOTAと比較して性能が向上したアドレス推定モデルを提案する。
また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
論文 参考訳（メタデータ） (2024-05-20T13:09:32Z) - Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。
SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。
本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-04-08T15:22:38Z) - NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot
Learning in Natural Human-Robot Interaction [19.65778558341053]
HRIデータセットは、オブジェクトのポインティングやプッシュといった基本的なタスクに重点を置いていることが多い。
音声とジェスチャーによる人間のコマンドを含むマルチモーダルHRIデータセットであるNatSGDを紹介する。
マルチモーダル・ヒューマン・コマンドによるタスク理解のためのロボットの訓練において,その効果を実証する。
論文 参考訳（メタデータ） (2024-03-04T18:02:41Z) - iCub! Do you recognize what I am doing?: multimodal human action
recognition on multisensory-enabled iCub robot [0.0]
提案したマルチモーダルアンサンブル学習は、3つのカラーカメラと1つの深度センサの相補的特性を活用する。
提案したモデルは,マルチモーダル動作認識を必要とするiCubロボットに展開可能であることを示す。
論文 参考訳（メタデータ） (2022-12-17T12:40:54Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Gesture2Path: Imitation Learning for Gesture-aware Navigation [54.570943577423094]
Gesture2Pathは、画像に基づく模倣学習とモデル予測制御を組み合わせた新しいソーシャルナビゲーション手法である。
実際のロボットに本手法をデプロイし,4つのジェスチャーナビゲーションシナリオに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2022-09-19T23:05:36Z) - Incremental 3D Scene Completion for Safe and Efficient Exploration
Mapping and Planning [60.599223456298915]
本研究では,情報,安全,解釈可能な地図作成と計画に3次元シーン補完を活用することによって,深層学習を探索に統合する新しい手法を提案する。
本手法は,地図の精度を最小限に抑えることで,ベースラインに比べて環境のカバレッジを73%高速化できることを示す。
最終地図にシーン完了が含まれていなくても、ロボットがより情報的な経路を選択するように誘導し、ロボットのセンサーでシーンの測定を35%高速化できることが示される。
論文 参考訳（メタデータ） (2022-08-17T14:19:33Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Open-Ended Multi-Modal Relational Reasoning for Video Question Answering [1.8699569122464073]
このエージェントの主な焦点は、ビデオベースのシーン内で言語ベースのインタラクションを使用する個人を支援することである。
提案手法は,ロボットエージェント内にビデオ認識技術と自然言語処理モデルを統合する。
論文 参考訳（メタデータ） (2020-12-01T20:49:59Z) - Batch Exploration with Examples for Scalable Robotic Reinforcement
Learning [63.552788688544254]
BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。
BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
論文 参考訳（メタデータ） (2020-10-22T17:49:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。