論文の概要: ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation
- arxiv url: http://arxiv.org/abs/2509.12618v1
- Date: Tue, 16 Sep 2025 03:31:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.860089
- Title: ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation
- Title（参考訳）: ActiveVLN:視覚・言語ナビゲーションにおけるマルチターンRLによる能動探査に向けて
- Abstract要約: 既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。
マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。
実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 57.399685080574756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Vision-and-Language Navigation (VLN) task requires an agent to follow natural language instructions and navigate through complex environments. Existing MLLM-based VLN methods primarily rely on imitation learning (IL) and often use DAgger for post-training to mitigate covariate shift. While effective, these approaches incur substantial data collection and training costs. Reinforcement learning (RL) offers a promising alternative. However, prior VLN RL methods lack dynamic interaction with the environment and depend on expert trajectories for reward shaping, rather than engaging in open-ended active exploration. This restricts the agent's ability to discover diverse and plausible navigation routes. To address these limitations, we propose ActiveVLN, a VLN framework that explicitly enables active exploration through multi-turn RL. In the first stage, a small fraction of expert trajectories is used for IL to bootstrap the agent. In the second stage, the agent iteratively predicts and executes actions, automatically collects diverse trajectories, and optimizes multiple rollouts via the GRPO objective. To further improve RL efficiency, we introduce a dynamic early-stopping strategy to prune long-tail or likely failed trajectories, along with additional engineering optimizations. Experiments show that ActiveVLN achieves the largest performance gains over IL baselines compared to both DAgger-based and prior RL-based post-training methods, while reaching competitive performance with state-of-the-art approaches despite using a smaller model. Code and data will be released soon.
- Abstract（参考訳）: Vision-and-Language Navigation (VLN)タスクでは、エージェントが自然言語の指示に従い、複雑な環境をナビゲートする必要がある。
既存のMLLMベースのVLN法は、主に模倣学習(IL)に依存しており、しばしば共変量シフトを緩和するために後トレーニングにDAggerを使用する。
有効ではあるが、これらのアプローチは大量のデータ収集とトレーニングコストを発生させる。
強化学習(RL)は有望な代替手段である。
しかしながら、以前のVLN RL法は環境との動的相互作用を欠き、専門家の軌道に依存して報酬形成を行う。
これにより、エージェントが多種多様で妥当な航法路を見つける能力を制限する。
これらの制約に対処するため,マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。
第1段階では、ILがエージェントをブートストラップするために、少数の専門家軌道が使用される。
第2段階では、エージェントはアクションを反復的に予測し実行し、様々な軌道を自動的に収集し、GRPOの目的を通じて複数のロールアウトを最適化する。
RLの効率をさらに向上するために、長い尾やおそらく失敗する軌道を創り出すための動的早期停止戦略と追加の工学的最適化を導入する。
実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも高い性能向上を達成した。
コードとデータはまもなくリリースされる。
関連論文リスト
- Joint On-and-Off Policy Learning for Vision-and-Language Navigation [44.53787822402111]
VLN(Vision-and-Language Navigation)は、自然言語の指示に固執することによって物理的な世界をナビゲートするための具体的エージェントである。
VLM(Vision-Language Models)の最近の進歩は、VLMベースのVLN法の開発を推進している。
本稿では,3段階の学習パイプライン内での非政治模倣学習と政治探究を組み合わせた新しいVLNフレームワークであるJOP-VLNを紹介する。
論文 参考訳（メタデータ） (2026-07-15T05:46:34Z) - CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving [66.77752555295355]
E2E-ADのための大規模強化学習(RL)を用いた閉ループ訓練システムであるCLEARを提案する。
簡単な報奨により、CLEARは従来の手法よりも大幅に優れ、新しい最先端性能を設定できることが示される。
論文 参考訳（メタデータ） (2026-07-03T00:34:50Z) - Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。
現在の制限は、高速かつ正確な操作において直接の使用を妨げる。
探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
論文 参考訳（メタデータ） (2026-04-15T11:17:54Z) - Trajectory-Diversity-Driven Robust Vision-and-Language Navigation [39.4949197412916]
VLN(Vision-and-Language Navigation)は、自然言語の指示に従い、エージェントがフォトリアリスティックな環境をナビゲートする必要がある。
目標指向ナビゲーションポリシを学習する強化学習フレームワークであるNavGRPOを提案する。
ベースラインよりも+14.89%のSPL向上を示し、目標指向のRLトレーニングがより堅牢なナビゲーションポリシーを構築することを確認した。
論文 参考訳（メタデータ） (2026-03-16T14:46:54Z) - AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。
我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-08T10:55:03Z) - Discover, Learn, and Reinforce: Scaling Vision-Language-Action Pretraining with Diverse RL-Generated Trajectories [33.872433985210876]
視覚-言語-アクション(VLA)モデルの事前訓練には、多種多様な高品質な操作軌跡が必要となる。
本稿では,VLA事前学習のための複数の異なる高精度な行動パターンを生成するDiscover,Lea rn,Reinforceを提案する。
ダウンストリームのタスクスイートに適応すると、VLAモデルは、同じサイズの標準RLデータセットでトレーニングされたデータセットよりも、多様なRLデータで事前訓練された。
論文 参考訳（メタデータ） (2025-11-24T07:54:49Z) - SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning [81.7764584515496]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力なパラダイムとして登場した。
これらのモデルは2つの根本的な課題に直面している。
VLAモデルに適した効率的な強化学習フレームワークであるSimpleVLA-RLを紹介する。
論文 参考訳（メタデータ） (2025-09-11T17:59:17Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。
本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
論文 参考訳（メタデータ） (2025-06-20T17:59:59Z) - Multi-agent Path Finding for Timed Tasks using Evolutionary Games [1.3023548510259344]
我々のアルゴリズムは,少なくとも1桁の精度で深部RL法よりも高速であることを示す。
以上の結果から,他の方法と比較してエージェント数の増加にともなってスケールが向上することが示唆された。
論文 参考訳（メタデータ） (2024-11-15T20:10:25Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。