論文の概要: RMM: A Recursive Mental Model for Dialog Navigation
- arxiv url: http://arxiv.org/abs/2005.00728v2
- Date: Tue, 6 Oct 2020 02:16:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 11:32:11.271021
- Title: RMM: A Recursive Mental Model for Dialog Navigation
- Title（参考訳）: RMM:対話ナビゲーションのための再帰的メンタルモデル
- Authors: Homero Roman Roman, Yonatan Bisk, Jesse Thomason, Asli Celikyilmaz,
Jianfeng Gao
- Abstract要約: 言語誘導ロボットは、人間の質問と答えの理解の両方を行なわなければならない。
心の理論から着想を得た再帰的メンタルモデル(RMM)を提案する。
我々は、RMMが新しい環境へのより良い一般化を可能にすることを実証する。
- 参考スコア（独自算出の注目度）: 102.42641990401735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language-guided robots must be able to both ask humans questions and
understand answers. Much existing work focuses only on the latter. In this
paper, we go beyond instruction following and introduce a two-agent task where
one agent navigates and asks questions that a second, guiding agent answers.
Inspired by theory of mind, we propose the Recursive Mental Model (RMM). The
navigating agent models the guiding agent to simulate answers given candidate
generated questions. The guiding agent in turn models the navigating agent to
simulate navigation steps it would take to generate answers. We use the
progress agents make towards the goal as a reinforcement learning reward signal
to directly inform not only navigation actions, but also both question and
answer generation. We demonstrate that RMM enables better generalization to
novel environments. Interlocutor modelling may be a way forward for human-agent
dialogue where robots need to both ask and answer questions.
- Abstract（参考訳）: 言語誘導型ロボットは、人間に質問をしたり、答えを理解できる必要がある。
既存の作品の多くは後者のみに焦点を当てている。
そこで本稿では,エージェントが2つのエージェントをナビゲートし,第2のエージェントが答える質問を行う2エージェントタスクを紹介する。
心の理論から着想を得た再帰的メンタルモデル(RMM)を提案する。
ナビゲーションエージェントは、所定の候補が生成した質問に対する回答をシミュレートするガイドエージェントをモデル化する。
ガイドエージェントは、ナビゲーションエージェントをモデルにして、回答を生成するのに要するナビゲーションステップをシミュレートする。
我々は,目標に向かって進行するエージェントを強化学習報酬信号として使用し,ナビゲーション行動だけでなく,質問と回答の生成も直接通知する。
我々はRMMが新しい環境へのより良い一般化を可能にすることを示した。
ロボットが質問や質問に答える必要がある人間とエージェントの対話において、インターロカタ・モデリングは先進的かもしれない。
関連論文リスト
- Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:57:57Z) - NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration [57.15811390835294]
本稿では,目標指向ナビゲーションと目標非依存探索の両方を扱うために,単一の統合拡散政策をトレーニングする方法について述べる。
この統一された政策は、新しい環境における目標を視覚的に示す際に、全体的な性能が向上することを示す。
実世界の移動ロボットプラットフォーム上で実施した実験は,5つの代替手法と比較して,見えない環境における効果的なナビゲーションを示す。
論文 参考訳（メタデータ） (2023-10-11T21:07:14Z) - R2H: Building Multimodal Navigation Helpers that Respond to Help
Requests [30.695642371684663]
まず、マルチモーダルナビゲーションヘルパーの開発を促進するために、新しいベンチマークであるRespond to Help Requests (R2H)を導入する。
R2Hは主に2つのタスクを含む:(1)対話履歴(RDH)、(2)対話履歴に基づいて情報応答を生成するヘルパーエージェントの能力を評価する、(2)対話中の応答(RdI)、(2)タスクパフォーマーとの一貫性のある協調における応答の有効性と効率を評価する。
論文 参考訳（メタデータ） (2023-05-23T17:12:09Z) - Lana: A Language-Capable Navigator for Instruction Following and
Generation [70.76686546473994]
LANAは言語対応のナビゲーションエージェントで、人書きのナビゲーションコマンドを実行し、人へのルート記述を提供することができる。
我々は、最近の高度なタスク固有解と比較して、LANAが命令追従と経路記述の両方においてより良い性能を発揮することを実証的に検証した。
加えて、言語生成能力が与えられたLANAは、人間の行動を説明し、人間のウェイフィンディングを支援することができる。
論文 参考訳（メタデータ） (2023-03-15T07:21:28Z) - VLN-Trans: Translator for the Vision and Language Navigation Agent [23.84492755669486]
ナビゲーションエージェントのためのトランスレータモジュールを設計し、元の命令を簡単に追従できるサブ命令表現に変換する。
我々は、新しい合成サブインストラクションデータセットを作成し、トランスレータとナビゲーションエージェントを訓練するための特定のタスクを設計する。
本研究では,Room2Room(R2R),Room4room(R4R),Room2Room Last(R2R-Last)データセットについて検討した。
論文 参考訳（メタデータ） (2023-02-18T04:19:51Z) - INSCIT: Information-Seeking Conversations with Mixed-Initiative
Interactions [47.90088587508672]
InSCItは、混合開始型インタラクションによる情報探索会話のためのデータセットである。
ユーザーエージェントは805対人会話から4.7Kである。
対話型知識認識とオープンドメイン質問応答の最先端モデルに基づく2つのシステムの結果を報告する。
論文 参考訳（メタデータ） (2022-07-02T06:18:12Z) - Explore before Moving: A Feasible Path Estimation and Memory Recalling
Framework for Embodied Navigation [117.26891277593205]
ナビゲーションに焦点をあて,経験や常識に欠ける既存のナビゲーションアルゴリズムの問題を解決する。
移動前に2回思考する能力に触発されて、不慣れな場面で目標を追求する実現可能な経路を考案し、パス推定とメモリリコールフレームワークと呼ばれる経路計画手法を提案する。
EmbodiedQAナビゲーションタスクにおけるPEMRの強力な実験結果を示す。
論文 参考訳（メタデータ） (2021-10-16T13:30:55Z) - Explore and Explain: Self-supervised Navigation and Recounting [43.52107532692226]
エージェントがこれまで知らなかった環境を探索し、経路中に何が見えるかを再計算する、新しい具体的環境を考案する。
この文脈では、エージェントは探索目標によって駆動される環境をナビゲートし、記述のための適切な瞬間を選択し、関連するオブジェクトやシーンの自然言語記述を出力する必要がある。
本モデルでは,新たな自己監督型探索モジュールとペナルティと,説明のための完全なキャプションモデルを統合した。
論文 参考訳（メタデータ） (2020-07-14T18:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。