論文の概要: Communicative Learning with Natural Gestures for Embodied Navigation
Agents with Human-in-the-Scene
- arxiv url: http://arxiv.org/abs/2108.02846v1
- Date: Thu, 5 Aug 2021 20:56:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-09 14:44:04.025758
- Title: Communicative Learning with Natural Gestures for Embodied Navigation
Agents with Human-in-the-Scene
- Title(参考訳): 自然ジェスチャを用いたコミュニケーション学習 : 身体的ナビゲーションエージェントと人間---in-the-scene
- Authors: Qi Wu, Cheng-Ju Wu, Yixin Zhu, Jungseock Joo
- Abstract要約: 我々はAI2-THORプラットフォームに基づくVRベースの3Dシミュレーション環境であるGes-THORを開発した。
この仮想環境において、人間のプレイヤーは同じ仮想シーンに配置され、ジェスチャーのみを用いて人工エージェントを羊飼いする。
自然なジェスチャーの意味を学習することは、ナビゲーションタスクの学習において相互に有益である、と我々は主張する。
- 参考スコア(独自算出の注目度): 34.1812210095966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-robot collaboration is an essential research topic in artificial
intelligence (AI), enabling researchers to devise cognitive AI systems and
affords an intuitive means for users to interact with the robot. Of note,
communication plays a central role. To date, prior studies in embodied agent
navigation have only demonstrated that human languages facilitate communication
by instructions in natural languages. Nevertheless, a plethora of other forms
of communication is left unexplored. In fact, human communication originated in
gestures and oftentimes is delivered through multimodal cues, e.g. "go there"
with a pointing gesture. To bridge the gap and fill in the missing dimension of
communication in embodied agent navigation, we propose investigating the
effects of using gestures as the communicative interface instead of verbal
cues. Specifically, we develop a VR-based 3D simulation environment, named
Ges-THOR, based on AI2-THOR platform. In this virtual environment, a human
player is placed in the same virtual scene and shepherds the artificial agent
using only gestures. The agent is tasked to solve the navigation problem guided
by natural gestures with unknown semantics; we do not use any predefined
gestures due to the diversity and versatile nature of human gestures. We argue
that learning the semantics of natural gestures is mutually beneficial to
learning the navigation task--learn to communicate and communicate to learn. In
a series of experiments, we demonstrate that human gesture cues, even without
predefined semantics, improve the object-goal navigation for an embodied agent,
outperforming various state-of-the-art methods.
- Abstract(参考訳): 人間とロボットのコラボレーションは、人工知能(AI)において重要な研究テーマであり、研究者が認知AIシステムを考案し、ユーザーがロボットと対話するための直感的な手段を提供する。
重要なのは、コミュニケーションが中心的な役割を果たすことだ。
現在までに、エンボディエージェントナビゲーションにおける先行研究は、人間の言語が自然言語によるコミュニケーションを促進することを証明しているだけである。
しかし、他の種類のコミュニケーションは未調査のままである。
実際、人間のコミュニケーションはジェスチャから始まり、しばしばマルチモーダル・キューを通じて配信される。
「そこへ行きなさい」とポインティングのジェスチャーで。
具体化エージェントナビゲーションにおけるコミュニケーションの欠如次元を埋めるために,ジェスチャを言語的手掛かりではなく,コミュニケーションインタフェースとして利用する効果について検討する。
具体的には,AI2-THORプラットフォームに基づくVRベースの3Dシミュレーション環境であるGes-THORを開発した。
この仮想環境において、人間のプレイヤーは同じ仮想シーンに配置され、ジェスチャーのみを用いて人工エージェントを羊飼いする。
エージェントは,人間のジェスチャーの多様性と多様性のために事前に定義されたジェスチャーを一切用いていないため,自然ジェスチャーによって案内されるナビゲーション問題を未知の意味で解決する。
自然なジェスチャーの意味を学習することは、ナビゲーションタスクの学習において相互に有益である、と我々は主張する。
一連の実験で、人間のジェスチャーの手がかりが、事前に定義されたセマンティクスがなくても、具体化エージェントのオブジェクトのナビゲーションを改善し、様々な最先端の手法を上回っていることを実証した。
関連論文リスト
- CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction [19.997935470257794]
本稿では,コモンセンス認識ナビゲーションのための視覚的および言語的指示を組み合わせたフレームワークであるCANVASを提案する。
その成功は模倣学習によって引き起こされ、ロボットは人間のナビゲーション行動から学ぶことができる。
実験の結果,CANVASはすべての環境において,強力なルールベースシステムであるROS NavStackよりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-10-02T06:34:45Z) - SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。
結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
論文 参考訳(メタデータ) (2024-09-17T02:36:10Z) - Bridging the Communication Gap: Artificial Agents Learning Sign Language through Imitation [6.1400257928108575]
本研究は,実証から学ぶことによる非言語コミュニケーションスキルの獲得について考察する。
特に,人工エージェントの模倣学習に着目し,擬似ヒューマノイドアメリカン手話を教えることで実演した。
我々はコンピュータビジョンと深層学習を用いてビデオから情報を取り出すとともに、エージェントが観察された動作を再現できるように強化学習を行う。
論文 参考訳(メタデータ) (2024-06-14T13:50:29Z) - CoNav: A Benchmark for Human-Centered Collaborative Navigation [66.6268966718022]
協調ナビゲーション(CoNav)ベンチマークを提案する。
われわれのCoNavは、現実的で多様な人間の活動を伴う3Dナビゲーション環境を構築するという重要な課題に取り組む。
本研究では,長期的意図と短期的意図の両方を推論する意図認識エージェントを提案する。
論文 参考訳(メタデータ) (2024-06-04T15:44:25Z) - GestureGPT: Toward Zero-Shot Free-Form Hand Gesture Understanding with Large Language Model Agents [35.48323584634582]
本稿では,人間のジェスチャー理解を模倣する自由形式の手ジェスチャー理解フレームワークであるGestureGPTを紹介する。
我々のフレームワークは、複数の大規模言語モデルエージェントを利用してジェスチャーや文脈情報を管理し、合成する。
私たちは、スマートホームコントロールとオンラインビデオストリーミングという2つの現実シナリオの下で、私たちのフレームワークをオフラインで検証しました。
論文 参考訳(メタデータ) (2023-10-19T15:17:34Z) - HandMeThat: Human-Robot Communication in Physical and Social
Environments [73.91355172754717]
HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。
HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。
オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
論文 参考訳(メタデータ) (2023-10-05T16:14:46Z) - Towards More Human-like AI Communication: A Review of Emergent
Communication Research [0.0]
創発的コミュニケーション(英: Emergent Communication, Emecom)は、自然言語を利用できる人工エージェントの開発を目的とした研究分野である。
本稿では,文献の共通点と,それらが人間同士の相互作用にどのように関係しているかを概説する。
2つのサブカテゴリを特定し、その特性とオープンな課題を強調します。
論文 参考訳(メタデータ) (2023-08-01T14:43:10Z) - Gesture2Path: Imitation Learning for Gesture-aware Navigation [54.570943577423094]
Gesture2Pathは、画像に基づく模倣学習とモデル予測制御を組み合わせた新しいソーシャルナビゲーション手法である。
実際のロボットに本手法をデプロイし,4つのジェスチャーナビゲーションシナリオに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2022-09-19T23:05:36Z) - Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of
Demonstrations for Social Navigation [92.66286342108934]
社会ナビゲーションは、ロボットのような自律的なエージェントが、人間のような他の知的エージェントの存在下で、社会的に従順な方法でナビゲートする能力である。
私たちのデータセットには8.7時間、128の軌道、25マイルの社会的に適合した人間の遠隔運転デモが含まれています。
論文 参考訳(メタデータ) (2022-03-28T19:09:11Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳(メタデータ) (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。