論文の概要: Joint On-and-Off Policy Learning for Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2607.13461v1
• Date: Wed, 15 Jul 2026 05:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.663165
• Title: Joint On-and-Off Policy Learning for Vision-and-Language Navigation
• Title（参考訳）: 視覚・言語ナビゲーションのための協調型オン・アンド・オフ政策学習
• Abstract要約: VLN(Vision-and-Language Navigation)は、自然言語の指示に固執することによって物理的な世界をナビゲートするための具体的エージェントである。 VLM(Vision-Language Models)の最近の進歩は、VLMベースのVLN法の開発を推進している。 本稿では,3段階の学習パイプライン内での非政治模倣学習と政治探究を組み合わせた新しいVLNフレームワークであるJOP-VLNを紹介する。
• 参考スコア（独自算出の注目度）: 44.53787822402111
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-and-Language Navigation (VLN) necessitates an embodied agent to navigate in the physical world by adhering to natural language instructions. Recent advancements in Vision-Language Models (VLM) have propelled the development of VLM-based VLN methods with two predominant paradigms: (1) imitation learning (IL) on expert demonstrations, followed by the Dataset Aggregation (DAgger) algorithm to bolster error recovery capabilities; (2) reinforcement learning (RL) driven by verifiable rewards to enhance reasoning and exploration. A notable gap is the absence of integration between these two distinct paradigms. This paper introduces JOP-VLN, a novel VLN framework that synergistically combines off-policy imitation learning and on-policy exploration within a three-stage training pipeline. Initially, IL is employed on expert demonstrations to acquire basic navigation skills. Subsequently, the DAgger algorithm is utilized to generate heuristic exploration trajectories, which are then used for imitation learning to improve error recovery capabilities. Finally, a joint on-and-off policy learning framework is implemented, featuring high-entropy trajectory sampling to enhance RL training efficiency and an error-correction-prioritized trajectory sorting strategy for effective error correction. Extensive experiments demonstrate the efficacy of JOP-VLN, achieving success rates of 69.9% and 68.0% on the VLN-CE R2R and RxR benchmarks, respectively, setting a new state-of-the-art on R2R. Project page: https://qingrongh.github.io/JOP-VLN.
• Abstract（参考訳）: Vision-and-Language Navigation (VLN) は、自然言語の指示に固執することで、身体的世界をナビゲートするエンボディエージェントを必要とする。 VLM(Vision-Language Models)の最近の進歩は、(1)専門家による実証実験における模倣学習(IL)と、エラー回復能力を高めるためのデータセット集約(DAgger)アルゴリズム、(2)推論と探索を強化するための検証可能な報酬によって駆動される強化学習(RL)の2つの主要なパラダイムによるVLMベースのVLN手法の開発を推進している。 注目すべきギャップは、これら2つの異なるパラダイム間の統合がないことである。 本稿では,3段階のトレーニングパイプライン内で,政治外模倣学習と政治内探索を相乗的に組み合わせた新しいVLNフレームワークであるJOP-VLNを紹介する。 当初、ILは基本的なナビゲーションスキルを得るために専門家によるデモンストレーションに使用されている。 その後、DAggerアルゴリズムを用いてヒューリスティックな探索軌道を生成する。 最後に、RL訓練効率を高めるために高エントロピー軌道サンプリングと、効果的な誤り訂正のための誤り訂正優先軌道ソート戦略を特徴とする、共同オン・アンド・オフ政策学習フレームワークを実装した。 大規模な実験では、VLN-CE R2RとRxRのベンチマークでそれぞれ69.9%と68.0%の成功率を達成するJOP-VLNの有効性が示され、R2Rに新たな最先端が設定された。 プロジェクトページ: https://qingrongh.github.io/JOP-VLN。

関連論文リスト

• Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning [56.29188272643489]
  GOLFは,グループレベルの言語フィードバックを利用して探索を誘導するRLフレームワークである。 GOLFは、エラーを特定したり、目標とする修正を提案したりする外部批判を集約し、代替部分的なアイデアと多様な障害パターンを提供するグループ内の試みを行う。 検証可能なベンチマークと検証できないベンチマークの両方の実験は、GOLFが優れた性能と探索効率を達成することを示している。
  論文  参考訳（メタデータ） (2026-03-04T20:53:17Z)
• Learning to Retrieve Navigable Candidates for Efficient Vision-and-Language Navigation [15.242490558864626]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従い、これまで見えなかった環境をナビゲートする必要がある。 本稿では,基礎となる言語モデルの変更や微調整を行うことなく,VLNを改善するための検索拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-17T17:00:11Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• EvolveNav: Empowering LLM-Based Vision-Language Navigation via Self-Improving Embodied Reasoning [145.32076310071434]
  EvolveNavは,適応的かつ一般化可能なナビゲーション推論を実現するための,新しい具体的推論パラダイムである。 EvolveNav は,(1) 形式化された CoT 監督ファインチューニング,(2) モデルが自己富化 CoT ラベルとして独自の推論出力で反復的に訓練され,監督の多様性を高めるために,モデルのナビゲーション推論能力を最初に活性化し,同時に推論速度を向上させるための形式化された CoT ラベルを用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2025-06-02T11:28:32Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。