論文の概要: NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning

• arxiv url: http://arxiv.org/abs/2403.07376v1
• Date: Tue, 12 Mar 2024 07:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:32:33.087416
• Title: NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning
• Title（参考訳）: NavCoT:分散推論学習によるLLMに基づく視覚・言語ナビゲーション
• Authors: Bingqian Lin, Yunshuang Nie, Ziming Wei, Jiaqi Chen, Shikui Ma, Jianhua Han, Hang Xu, Xiaojun Chang, Xiaodan Liang
• Abstract要約: Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 101.56342075720588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-Language Navigation (VLN), as a crucial research problem of Embodied AI, requires an embodied agent to navigate through complex 3D environments following natural language instructions. Recent research has highlighted the promising capacity of large language models (LLMs) in VLN by improving navigational reasoning accuracy and interpretability. However, their predominant use in an offline manner usually suffers from substantial domain gap between the VLN task and the LLM training corpus. This paper introduces a novel strategy called Navigational Chain-of-Thought (NavCoT), where we fulfill parameter-efficient in-domain training to enable self-guided navigational decision, leading to a significant mitigation of the domain gap in a cost-effective manner. Specifically, at each timestep, the LLM is prompted to forecast the navigational chain-of-thought by: 1) acting as a world model to imagine the next observation according to the instruction, 2) selecting the candidate observation that best aligns with the imagination, and 3) determining the action based on the reasoning from the prior steps. Through constructing formalized labels for training, the LLM can learn to generate desired and reasonable chain-of-thought outputs for improving the action decision. Experimental results across various training settings and popular VLN benchmarks (e.g., Room-to-Room (R2R), Room-across-Room (RxR), Room-for-Room (R4R)) show the significant superiority of NavCoT over the direct action prediction variants. Through simple parameter-efficient finetuning, our NavCoT outperforms a recent GPT4-based approach with ~7% relative improvement on the R2R dataset. We believe that NavCoT will help unlock more task-adaptive and scalable LLM-based embodied agents, which are helpful for developing real-world robotics applications. Code is available at https://github.com/expectorlin/NavCoT.
• Abstract（参考訳）: Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 しかしながら、オフラインでの利用は、通常、VLNタスクとLLMトレーニングコーパスの間のドメインギャップがかなり大きいことに悩まされる。 本稿では,NavCoT(Navigational Chain-of-Thought)と呼ばれる新しい手法を紹介し,パラメータ効率のよいドメイン内トレーニングを実現し,自己誘導型ナビゲーション決定を実現する。 具体的には、各タイムステップにおいて、llmは次の手順でナビゲーションチェーンを予測するように促される。 1) 指示に従って次の観察を想像するための世界モデルとして振る舞うこと 2)想像力に最も適した観察候補の選択、及び 3) 前段からの推論に基づいて行動を決定する。 トレーニングのために形式化されたラベルを構築することで、LLMはアクション決定を改善するために望ましい、合理的な連鎖出力を生成することができる。 様々なトレーニング設定と一般的なVLNベンチマーク(例:Room-to-Room(R2R)、Room-across-Room(RxR)、Room-for-Room(R4R)))による実験結果は、NavCoTが直接動作予測のバリエーションよりも大幅に優れていることを示している。 単純なパラメータ効率の微調整によって、我々のNavCoTは最近のGPT4ベースのアプローチより優れており、R2Rデータセットの相対的な改善はおよそ7%である。 NavCoTは、よりタスク適応的でスケーラブルなLLMベースのエンボディエージェントのアンロックに役立ち、現実世界のロボティクスアプリケーションの開発に役立ちます。 コードはhttps://github.com/expectorlin/navcotで入手できる。

関連論文リスト

• Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs [41.90732562248243]
  VLN(Vision-and-Language Navigation)タスクは、エージェントが3D環境をナビゲートするためのテキスト命令に従う必要がある。 近年の手法では,VLNタスクをゼロショットで解くために,LLM(Crowd-source large language model)を用いている。 我々は、連続環境におけるゼロショットVLNのためのオープンソースのLLMを探求する新しい研究であるOpen-Navを紹介する。
  論文  参考訳（メタデータ） (2024-09-27T14:47:18Z)
• Correctable Landmark Discovery via Large Models for Vision-Language Navigation [89.15243018016211]
  Vision-Language Navigation (VLN) は、ターゲット位置に到達するために、エージェントが言語命令に従う必要がある。 以前のVLNエージェントは、特に探索されていないシーンで正確なモダリティアライメントを行うことができない。 我々は,Large ModEls (CONSOLE) によるコレクタブルLaNdmark DiScOveryと呼ばれる新しいVLNパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T03:05:59Z)
• MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains [4.941781282578696]
  Vision-and-Language Navigation (VLN)タスクでは、エージェントは自然言語の指示に従って目的地に向かう必要がある。 学習ベースのアプローチはタスクに対する主要な解決策だが、高いトレーニングコストと解釈可能性の欠如に悩まされている。 近年、Large Language Models (LLMs) は強力な一般化能力のため、VLNにとって有望なツールとして登場した。
  論文  参考訳（メタデータ） (2024-05-17T08:33:27Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)
• Mind the Gap: Improving Success Rate of Vision-and-Language Navigation by Revisiting Oracle Success Routes [25.944819618283613]
  Vision-and-Language Navigation (VLN) は、指定された命令に従うことで、ターゲットの場所へナビゲートすることを目的としている。 VLNの長年無視されてきた問題に対処する最初の試みは、成功率(SR)とOracle成功率(OSR)のギャップを狭めることです。
  論文  参考訳（メタデータ） (2023-08-07T01:43:25Z)
• NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models [17.495162643127003]
  我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。 NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。 本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T14:41:06Z)
• ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments [56.194988818341976]
  視覚言語ナビゲーションは、エージェントが環境中をナビゲートするための指示に従う必要があるタスクである。 本研究では,1)環境を抽象化し,長距離航法計画を生成する能力,2)連続環境における障害物回避制御能力の2つの重要なスキルに焦点を当てたETPNavを提案する。 ETPNavは、R2R-CEとRxR-CEデータセットの先行技術よりも10%以上、20%改善されている。
  論文  参考訳（メタデータ） (2023-04-06T13:07:17Z)
• ULN: Towards Underspecified Vision-and-Language Navigation [77.81257404252132]
  Underspecificified Vision-and-Language Navigation (ULN)は、視覚・言語ナビゲーション(VLN)のための新しい設定である 本稿では,分類モジュール,ナビゲーションエージェント,エクスプロイテーション・ツー・エクスプロレーション(E2E)モジュールで構成されるVLNフレームワークを提案する。 我々のフレームワークはより堅牢で、ULNのベースラインを全レベルの相対的な成功率で10%上回る。
  論文  参考訳（メタデータ） (2022-10-18T17:45:06Z)
• Airbert: In-domain Pretraining for Vision-and-Language Navigation [91.03849833486974]
  ビジョン・アンド・ランゲージナビゲーション(VLN)は、エンボディエージェントが自然言語命令を使って現実的な環境をナビゲートできるようにすることを目的としている。 近年の方法は、VLN剤の一般化を改善するための事前学習である。 大規模かつ多様なドメイン内VLNデータセットであるBnBを紹介する。
  論文  参考訳（メタデータ） (2021-08-20T10:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。