論文の概要: AVERT-VLN: Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2609.39579v1
• Date: Wed, 30 Sep 2026 12:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.664423
• Title: AVERT-VLN: Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation
• Title（参考訳）: AVERT-VLN:視覚・言語ナビゲーションのための視覚的エラー回復と訓練
• Abstract要約: 視覚・言語ナビゲーション(AVERT-VLN)のための視覚的エラー回復とトレーニングを提案する。 AVERT-VLNはクローズドループフレームワークで、オンラインのヒューマンアシストリカバリとオフラインの優先学習にプラグインビジョン言語モニターを使用する。 人間による評価の下では、完全なAVERT-VLNシステムは、R2R-CEとRxR-CEのヴァルアンシー分割において76.2%と66.3%の成功率を達成する。
• 参考スコア（独自算出の注目度）: 24.22152066641951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying vision-and-language navigation (VLN) agents in unseen environments remains challenging because unfamiliar layouts and visual conditions can cause execution to go off track. Rather than relying on continuous human supervision, a practical strategy is to selectively request corrective guidance, recover the ongoing task, and reuse corrective interactions to improve subsequent navigation. We propose Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation (AVERT-VLN), a closed-loop framework that uses a plug-in vision-language Monitor for online human-assisted recovery and offline preference learning. The Monitor operates separately from navigation decision generation and assesses instruction-execution consistency from the instruction, visual history, and current observation. To train the Monitor for deviation recognition, we construct LOSTNAV DATASET with 20K counterfactual risk trajectories and rule-based deviation labels. The Monitor is first fine-tuned on 40K normal trajectories to assess instruction progress and then jointly fine-tuned on normal and risk trajectories to recognize semantic deviations. At runtime, Asynchronous Sidecar Monitoring evaluates execution alongside the navigation model. When the controller accepts a LOST verdict, it suspends autonomous execution and requests human guidance for recovery. For offline policy improvement, Trajectory-Anchored Preference Learning converts deviation-associated failures into decision-level preference pairs under shared decision contexts, restricting supervision to the decisions targeted for correction. Under human-assisted evaluation, the full AVERT-VLN system achieves success rates of 76.2% and 66.3% on the val-unseen splits of R2R-CE and RxR-CE, respectively. The same monitoring and human-assisted recovery interface also improves success rates across the three evaluated navigation architectures.
• Abstract（参考訳）: ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)エージェントを目に見えない環境に配置することは依然として困難である。 継続的人間の監督に頼るのではなく、実際の戦略は、修正ガイダンスを選択的に要求し、進行中のタスクを回復し、その後のナビゲーションを改善するために修正インタラクションを再利用することである。 AVERT-VLN(Abstention-aware Visual Error Recovery and Training for Vision-and-Language Navigation)は、オンラインの人間支援型リカバリとオフライン優先学習のためのプラグイン視覚言語モニターを用いたクローズドループフレームワークである。 モニターはナビゲーション決定生成から独立して動作し、指示、視覚的履歴、現在の観察から命令実行の一貫性を評価する。 偏差認識のためのモニタを訓練するために,20K対実的リスクトラジェクトリとルールに基づく偏差ラベルを用いたLOSTNAV DataSETを構築した。 モニターは、まず40Kの通常の軌道で微調整され、指示の進捗を評価し、その後、正常な軌道とリスクの軌道で微調整され、意味的偏差を認識する。 実行時に、Asynchronous Sidecar Monitoringはナビゲーションモデルと一緒に実行を評価します。 コントローラがLOST判決を受理すると、自動実行を停止し、回復のための人間のガイダンスを要求する。 オフラインの政策改善のために、トラジェクティブ・アンコレッド・プレフレクション・ラーニングは、偏差関連障害を共有意思決定コンテキスト下での意思決定レベルの優先ペアに変換し、修正対象の意思決定に対する監督を制限する。 人間による評価では、完全なAVERT-VLNシステムは、それぞれR2R-CEとRxR-CEのヴァルアンシー分割において76.2%と66.3%の成功率を達成する。 同じ監視とヒューマンアシストのリカバリインターフェースは、評価された3つのナビゲーションアーキテクチャにおける成功率も向上する。

関連論文リスト

• Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation [53.30116823667751]
  視覚言語ナビゲーションのためのテスト時適応(TTA-VLN)により、事前訓練されたポリシーは、目に見えない環境にオンラインで適応できる。 分散シフトは、局所的な行動選好を歪め、オフコース決定につながる可能性がある。 我々は,行動誘発観察遷移から署名付き参照関連決定クレジットを回収する信用誘導政策改善(CGPI)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T13:46:11Z)
• HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
  身体的ナビゲーションでは、エージェントは空間観測において指示や目標を下ろす必要がある。 本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介した。
  論文  参考訳（メタデータ） (2026-09-14T08:15:56Z)
• VerNav: Verifier-First Low-Latency Vision-and-Language Navigation [7.190348268664948]
  VLN(Vision-and-Language Navigation)は、エージェントが自然の遅延指示に従って見えない3D環境をナビゲートする必要がある。 我々は低言語LLMベースのVLNのための検証ファーストフレームワークであるVerNavを提案する。
  論文  参考訳（メタデータ） (2026-09-01T08:45:15Z)
• RecoverFly: A Failure-Aware Reinforcement Learning Post-Training Framework for Aerial Vision-Language Navigation [16.942230083606674]
  無人航空機の視覚言語ナビゲーション(UAV-VLN)は、視覚的な観察と言語指示を信頼性のある飛行行動に変換するためにエージェントを必要とする。 エンドツーエンドのUAV-VLAポリシを対象とした,障害対応のRLポストトレーニングフレームワークであるRecoverFlyを提案する。
  論文  参考訳（メタデータ） (2026-08-10T11:37:46Z)
• CrossTracer: Cross-Embodiment Navigation via VLA Model Reasoning and Trace Residuals Adapting [51.52109090141233]
  CrossTracerは、クロスボディナビゲーションのための階層的なフレームワークである。 セマンティック推論と物理接地の間に統一的なピクセル空間インターフェースを形成する。 そこで,NaviTraceベンチマークを用いてCrossTracerの評価を行った。
  論文  参考訳（メタデータ） (2026-08-07T01:24:53Z)
• AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation [22.01905444679521]
  AdvNavは行動誘導型ブラックボックス攻撃フレームワークである。 ナビゲーション中、エージェントのファーストパーソンのビューを邪魔します。 R2Rデータセット上の2種類のバックボーンを用いてトランスフォーマーベースのHAMTとMapGPTを比較した。
  論文  参考訳（メタデータ） (2026-07-13T04:03:32Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。