論文の概要: ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2509.12618v1
• Date: Tue, 16 Sep 2025 03:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.860089
• Title: ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation
• Title（参考訳）: ActiveVLN:視覚・言語ナビゲーションにおけるマルチターンRLによる能動探査に向けて
• Authors: Zekai Zhang, Weiye Zhu, Hewei Pan, Xiangchen Wang, Rongtao Xu, Xing Sun, Feng Zheng,
• Abstract要約: 既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 57.399685080574756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Vision-and-Language Navigation (VLN) task requires an agent to follow natural language instructions and navigate through complex environments. Existing MLLM-based VLN methods primarily rely on imitation learning (IL) and often use DAgger for post-training to mitigate covariate shift. While effective, these approaches incur substantial data collection and training costs. Reinforcement learning (RL) offers a promising alternative. However, prior VLN RL methods lack dynamic interaction with the environment and depend on expert trajectories for reward shaping, rather than engaging in open-ended active exploration. This restricts the agent's ability to discover diverse and plausible navigation routes. To address these limitations, we propose ActiveVLN, a VLN framework that explicitly enables active exploration through multi-turn RL. In the first stage, a small fraction of expert trajectories is used for IL to bootstrap the agent. In the second stage, the agent iteratively predicts and executes actions, automatically collects diverse trajectories, and optimizes multiple rollouts via the GRPO objective. To further improve RL efficiency, we introduce a dynamic early-stopping strategy to prune long-tail or likely failed trajectories, along with additional engineering optimizations. Experiments show that ActiveVLN achieves the largest performance gains over IL baselines compared to both DAgger-based and prior RL-based post-training methods, while reaching competitive performance with state-of-the-art approaches despite using a smaller model. Code and data will be released soon.
• Abstract（参考訳）: Vision-and-Language Navigation (VLN)タスクでは、エージェントが自然言語の指示に従い、複雑な環境をナビゲートする必要がある。 既存のMLLMベースのVLN法は、主に模倣学習(IL)に依存しており、しばしば共変量シフトを緩和するために後トレーニングにDAggerを使用する。 有効ではあるが、これらのアプローチは大量のデータ収集とトレーニングコストを発生させる。 強化学習(RL)は有望な代替手段である。 しかしながら、以前のVLN RL法は環境との動的相互作用を欠き、専門家の軌道に依存して報酬形成を行う。 これにより、エージェントが多種多様で妥当な航法路を見つける能力を制限する。 これらの制約に対処するため,マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 第1段階では、ILがエージェントをブートストラップするために、少数の専門家軌道が使用される。 第2段階では、エージェントはアクションを反復的に予測し実行し、様々な軌道を自動的に収集し、GRPOの目的を通じて複数のロールアウトを最適化する。 RLの効率をさらに向上するために、長い尾やおそらく失敗する軌道を創り出すための動的早期停止戦略と追加の工学的最適化を導入する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも高い性能向上を達成した。 コードとデータはまもなくリリースされる。

関連論文リスト

• SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
  VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。 これらのモデルは2つの根本的な課題に直面している。 VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• Multi-agent Path Finding for Timed Tasks using Evolutionary Games [1.3023548510259344]
  我々のアルゴリズムは,少なくとも1桁の精度で深部RL法よりも高速であることを示す。 以上の結果から,他の方法と比較してエージェント数の増加にともなってスケールが向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-15T20:10:25Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。