Fugu-MT 論文翻訳(概要): $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models

論文の概要: $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models

arxiv url: http://arxiv.org/abs/2308.07997v1
Date: Tue, 15 Aug 2023 19:01:19 GMT
ステータス: 処理完了
システム内更新日: 2023-08-17 15:42:14.308124
Title: $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models
Title（参考訳）: A^2$Nav:基礎モデルの視覚・言語能力の爆発によるアクション対応ゼロショットロボットナビゲーション
Authors: Peihao Chen, Xinyu Sun, Hongyan Zhi, Runhao Zeng, Thomas H. Li, Gaowen Liu, Mingkui Tan, Chuang Gan
Abstract要約: 本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
参考スコア（独自算出の注目度）: 89.64729024399634
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the task of zero-shot vision-and-language navigation (ZS-VLN), a practical yet challenging problem in which an agent learns to navigate following a path described by language instructions without requiring any path-instruction annotation data. Normally, the instructions have complex grammatical structures and often contain various action descriptions (e.g., "proceed beyond", "depart from"). How to correctly understand and execute these action demands is a critical problem, and the absence of annotated data makes it even more challenging. Note that a well-educated human being can easily understand path instructions without the need for any special training. In this paper, we propose an action-aware zero-shot VLN method ($A^2$Nav) by exploiting the vision-and-language ability of foundation models. Specifically, the proposed method consists of an instruction parser and an action-aware navigation policy. The instruction parser utilizes the advanced reasoning ability of large language models (e.g., GPT-3) to decompose complex navigation instructions into a sequence of action-specific object navigation sub-tasks. Each sub-task requires the agent to localize the object and navigate to a specific goal position according to the associated action demand. To accomplish these sub-tasks, an action-aware navigation policy is learned from freely collected action-specific datasets that reveal distinct characteristics of each action demand. We use the learned navigation policy for executing sub-tasks sequentially to follow the navigation instruction. Extensive experiments show $A^2$Nav achieves promising ZS-VLN performance and even surpasses the supervised learning methods on R2R-Habitat and RxR-Habitat datasets.
Abstract（参考訳）: 本研究では,ゼロショット視覚言語ナビゲーション(zs-vln, zero-shot vision-and-language navigation)の課題について検討する。通常、命令は複雑な文法構造を持ち、様々な動作記述(例えば "proceed beyond" や "depart from" など)を含んでいる。これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。優れた教育を受けた人間は、特別な訓練を必要とせずに、容易に経路指示を理解できる。本稿では,基礎モデルの視覚・言語能力を利用したアクション対応ゼロショットVLN法(A^2$Nav)を提案する。具体的には,提案手法は命令パーサとアクション対応ナビゲーションポリシから構成される。命令パーサは、大規模な言語モデル(例えばGPT-3)の高度な推論能力を利用して、複雑なナビゲーション命令をアクション固有のオブジェクトナビゲーションサブタスクのシーケンスに分解する。各サブタスクは、エージェントがオブジェクトをローカライズし、関連するアクション要求に応じて特定のゴール位置にナビゲートする必要がある。これらのサブタスクを達成するために、アクション対応ナビゲーションポリシーは、アクション要求ごとに異なる特性を示す、自由に収集されたアクション固有のデータセットから学習される。学習したナビゲーションポリシーを用いて、サブタスクを逐次実行し、ナビゲーション命令に従う。大規模な実験によると、$A^2$NavはZS-VLNのパフォーマンスを期待でき、R2R-HabitatデータセットとRxR-Habitatデータセットの教師付き学習方法を超えている。

論文の概要: $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models

関連論文リスト