論文の概要: EvolveNav: Empowering LLM-Based Vision-Language Navigation via Self-Improving Embodied Reasoning

• arxiv url: http://arxiv.org/abs/2506.01551v3
• Date: Tue, 14 Oct 2025 02:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 16:45:44.355759
• Title: EvolveNav: Empowering LLM-Based Vision-Language Navigation via Self-Improving Embodied Reasoning
• Title（参考訳）: EvolveNav:自己改善型身体共振によるLCMに基づく視覚言語ナビゲーション
• Authors: Bingqian Lin, Yunshuang Nie, Khun Loun Zai, Ziming Wei, Mingfei Han, Rongtao Xu, Minzhe Niu, Jianhua Han, Hanwang Zhang, Liang Lin, Bokui Chen, Cewu Lu, Xiaodan Liang,
• Abstract要約: EvolveNavは,適応的かつ一般化可能なナビゲーション推論を実現するための,新しい具体的推論パラダイムである。 EvolveNav は,(1) 形式化された CoT 監督ファインチューニング,(2) モデルが自己富化 CoT ラベルとして独自の推論出力で反復的に訓練され,監督の多様性を高めるために,モデルのナビゲーション推論能力を最初に活性化し,同時に推論速度を向上させるための形式化された CoT ラベルを用いてモデルを訓練する。
• 参考スコア（独自算出の注目度）: 145.32076310071434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have revealed the potential of training open-source Large Language Models (LLMs) to unleash LLMs' reasoning ability for enhancing vision-language navigation (VLN) performance, and simultaneously mitigate the domain gap between LLMs' training corpus and the VLN task. However, these approaches predominantly adopt straightforward input-output mapping paradigms, causing the mapping learning difficult and the navigational decisions unexplainable. Chain-of-Thought (CoT) training is a promising way to improve both navigational decision accuracy and interpretability, while the complexity of the navigation task makes the perfect CoT labels unavailable and may lead to overfitting through pure CoT supervised fine-tuning. To address these issues, we propose EvolveNav, a novel sElf-improving embodied reasoning paradigm that realizes adaptable and generalizable navigational reasoning for boosting LLM-based vision-language Navigation. Specifically, EvolveNav involves a two-stage training process: (1) Formalized CoT Supervised Fine-Tuning, where we train the model with curated formalized CoT labels to first activate the model's navigational reasoning capabilities, and simultaneously increase the reasoning speed; (2) Self-Reflective Post-Training, where the model is iteratively trained with its own reasoning outputs as self-enriched CoT labels to enhance the supervision diversity. A self-reflective auxiliary task is also designed to encourage the model to learn correct reasoning patterns by contrasting with wrong ones. Experimental results under both task-specific and cross-task training paradigms demonstrate the consistent superiority of EvolveNav over previous LLM-based VLN approaches on various popular benchmarks, including R2R, REVERIE, CVDN, and SOON. Code is available at https://github.com/expectorlin/EvolveNav.
• Abstract（参考訳）: 近年の研究では、LLMが視覚言語ナビゲーション(VLN)の性能を向上させるための推論能力を解き放ち、LLMのトレーニングコーパスとVLNタスク間のドメインギャップを緩和する可能性を明らかにしている。 しかし、これらのアプローチは単純な入出力マッピングパラダイムを主に採用しており、マッピング学習は困難であり、ナビゲーション上の決定は説明不能である。 CoT(Chain-of-Thought)トレーニングは、ナビゲーション上の決定精度と解釈可能性の両方を改善するための有望な方法であり、ナビゲーションタスクの複雑さにより、完全なCoTラベルが利用できなくなり、純粋なCoTによる微調整によって過度に適合する可能性がある。 これらの問題に対処するために,LLMに基づく視覚言語ナビゲーションを促進するための適応的で一般化可能なナビゲーション推論を実現する,新しいSElf-imboded reasoningパラダイムであるEvolveNavを提案する。 特に、EvolveNavは、(1)形式化されたCoT監督ファインチューニング、(2)モデルのナビゲーション推論能力を最初に活性化するために正式なCoTラベルでモデルをトレーニングし、同時に推論速度を向上する、(2)自己回帰後トレーニング、(2)モデルが自己富化CoTラベルとして独自の推論出力で反復的にトレーニングされ、監督の多様性を高める、という2段階のトレーニングプロセスを含む。 自己回帰補助タスクは、間違ったタスクと対比して正しい推論パターンを学ぶことをモデルに促すように設計されている。 タスク固有のトレーニングパラダイムとクロスタスクトレーニングパラダイムの両方による実験結果は、R2R、REVERIE、CVDN、SOONなど、様々な人気のあるベンチマークにおいて、以前のLLMベースのVLNアプローチよりも、EvolveNavが一貫した優位性を示している。 コードはhttps://github.com/expectorlin/EvolveNav.comで入手できる。

関連論文リスト

• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models [30.685419129265252]
  我々は、VLN特化モデルとLLMに基づくナビゲーションパラダイムの分割を橋渡しする。 我々は、効果的な行動予測とナビゲーション推論のために、LCMとナビゲーションポリシーネットワークを組み込む方法を利用する。
  論文  参考訳（メタデータ） (2024-07-17T07:44:26Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models [17.495162643127003]
  我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。 NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。 本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T14:41:06Z)
• BEVBert: Multimodal Map Pre-training for Language-guided Navigation [75.23388288113817]
  視覚・言語ナビゲーション(VLN)における空間認識型マップベース事前学習パラダイムを提案する。 我々は,グローバルなトポロジカルマップにおけるナビゲーション依存性をモデル化しながら,不完全な観測を明示的に集約し,重複を取り除くための局所距離マップを構築した。 ハイブリッドマップをベースとして,マルチモーダルマップ表現を学習するための事前学習フレームワークを考案し,空間認識型クロスモーダル推論を強化し,言語誘導ナビゲーションの目標を導出する。
  論文  参考訳（メタデータ） (2022-12-08T16:27:54Z)
• Cross-modal Map Learning for Vision and Language Navigation [82.04247028482244]
  VLN(Vision-and-Language Navigation)の問題点について考察する。 他の研究とは対照的に、我々の重要な洞察は、言語と視覚の関連性は、明示的な空間表現で起こるときに強くなるということである。 視覚・言語ナビゲーションのためのクロスモーダルマップ学習モデルを提案する。このモデルでは,まず,観測領域と観測対象領域の両方に対して,エゴセントリックマップ上のトップダウンセマンティクスを予測することを学習する。
  論文  参考訳（メタデータ） (2022-03-10T03:30:12Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。