論文の概要: From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2608.03143v1
• Date: Tue, 04 Aug 2026 05:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.042124
• Title: From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation
• Title（参考訳）: 経路からステップへ:視覚・言語ナビゲーションにおける局所実行からのセマンティック進歩の分離
• Abstract要約: Route2Stepは、明示的なステップレベルインターフェースを通じてアクション生成からセマンティックプログレストラッキングを分離するフレームワークである。 R2R-CEでは、R2StepはSRを48.1%から55.3%に改善し、SPLを43.3%から48.2%に改善し、190Kの州レベルの修正サンプルを使用する。
• 参考スコア（独自算出の注目度）: 2.7718125488816003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-and-Language Navigation (VLN) requires an agent to follow a route-level instruction by executing its constituent steps from egocentric visual observations. Existing VLM-based navigators typically supervise both capabilities through next-action prediction alone, making progress-tracking errors difficult to distinguish from execution errors. When an agent deviates from the route, a corrective action label may recover the next movement but does not indicate whether the agent selected the wrong sub-instruction or failed to execute the correct one. Consequently, the agent may continue making decisions from an erroneous progress state. To resolve this ambiguity, we propose \textbf{Route2Step}, a framework that decouples semantic progress tracking from action generation through an explicit step-level interface. The Instruction Analysis Module ($\mathcal{M}_{\mathrm{IA}}$) predicts this state from the global instruction and visual history. Conditioned on the predicted state and recent observations, the Action Generation Module ($\mathcal{M}_{\mathrm{AG}}$) generates local action chunks. To supervise the progress state without manual temporal labels, E-SPA, a step-alignment procedure, associates sub-instructions with their corresponding portions of route-level demonstrations. These alignments enable state supervision for incorrect progress estimates, while direct action supervision is reserved for rollout groups that repeatedly fail under the correct active sub-instruction. On R2R-CE, Route2Step improves SR from 48.1\% to 55.3\% and SPL from 43.3\% to 48.2\%, using 190K state-level corrective samples while requiring only 11.5K directly action-supervised states. Experiments in real-world indoor and outdoor environments further demonstrate the practical applicability of Route2Step. The project page is: https://sisyphus-hxy.github.io/Route2Step/.
• Abstract（参考訳）: VLN(Vision-and-Language Navigation)は、エージェントがエゴセントリックな視覚観察から構成ステップを実行することで、ルートレベルの指示に従う必要がある。 既存のVLMベースのナビゲータは、通常、次のアクション予測だけで両方の機能を監督し、進行追跡エラーを実行エラーと区別することが困難になる。 エージェントが経路から外れたとき、修正アクションラベルは次の動作を回復することができるが、エージェントが間違ったサブ命令を選択したか、正しい命令を実行できなかったかは示さない。 その結果、エージェントは、誤った進行状態から意思決定を続けることができる。 この曖昧さを解決するために、明示的なステップレベルインターフェースを通じてアクション生成からセマンティックプログレストラッキングを分離するフレームワークである「textbf{Route2Step}」を提案する。 Instruction Analysis Module ($\mathcal{M}_{\mathrm{IA}}$)は、この状態をグローバルな命令と視覚履歴から予測する。 予測状態と最近の観測に基づいて、アクション生成モジュール(\mathcal{M}_{\mathrm{AG}}$)はローカルアクションチャンクを生成する。 手動の時間ラベルなしで進行状態を監視するために、ステップアライメント手順であるE-SPAは、サブインストラクションとルートレベルのデモの対応する部分とを関連付ける。 これらのアライメントは、不正な進捗推定のための国家監督を可能にし、直接的な行動監督は、正しいアクティブサブインストラクションの下で繰り返し失敗するロールアウトグループに割り当てられる。 R2R-CE では、R2Step は SR を 48.1\% から 55.3\% に改善し、SPL は 43.3\% から 48.2\% に改善した。 実世界の屋内および屋外環境における実験は、Route2Stepの実用性をさらに証明している。 プロジェクトページは以下のとおりである。

関連論文リスト

• HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
  身体的なナビゲーションでは、エージェントは視覚的な観察を解釈し、空間的な知識を蓄積し、指示に従うか、オブジェクトを見つけるためのアクションを実行する必要がある。 本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介し,Hernessは統合されたツールインターフェースを通じて知覚,検索,接地,ナビゲーション,回復,終了を協調する。
  論文  参考訳（メタデータ） (2026-09-14T08:15:56Z)
• If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation [22.10681380360471]
  本研究では,条件分岐視覚ナビゲーションのためのシーングラフグラウンドベンチマークであるCondVLNを紹介する。 CondVLNは、分岐深さ、依存性チェーン長、空間組成、エビデンスオブザーバビリティ、命令水平の制御された条件付き命令を生成する。 標準的なVLNメトリクスとブランチ固有の診断(ブランチ選択精度と条件付き成功率)を使用してエージェントを評価する。
  論文  参考訳（メタデータ） (2026-08-18T03:22:29Z)
• ReflectVLN: Training Vision-Language Navigation Agents with Reflective Reasoning [3.003666403039533]
  ReflectVLNは双方向の対話的意図と実行エージェントを通じて意思決定を組織するエージェントVLNフレームワークである。 我々は、制約付きデータ予算の下で、ReflectVLNが成功率とパス効率を改善することを示す。
  論文  参考訳（メタデータ） (2026-07-14T12:09:33Z)
• StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
  強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。 この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。 PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。 本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:17:28Z)
• Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation [14.750200911270374]
  マルチモーダル大言語モデル(MLLM)は、エージェントに与えられたタスクとゴールに対して、各時点における現在のビューを評価することで、一連の動作を計画することができる。 本稿では,3段階のプロトコルを用いて,これらの障害に対処する三段階ナビを提案する。 Three-Step Navは、R2R-CEデータセットとRxR-CEデータセット上で最先端のゼロショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-29T17:55:05Z)
• ReCAPA: Hierarchical Predictive Correction to Mitigate Cascading Failures [11.399289646886968]
  予測とコントラストを用いて3つのレベル(アクション、サブゴール、トラジェクトリ)の偏差を調整するフレームワークを提案する。 タスクにおけるエラーの伝搬と回復の過程を定量化する2つの新しい指標を導入する。 実験の結果、ReCAPAはVisualAgentBench、MineDojo、AI2-THORなどの組み込みエージェントベンチマークで競合する結果を得た。
  論文  参考訳（メタデータ） (2026-04-23T02:57:50Z)
• Dual-Anchoring: Addressing State Drift in Vision-Language Navigation [16.424156408535637]
  VLN(Vision-Language Navigation)は、自然言語の指示に従うことで、エージェントが3D環境をナビゲートする必要がある。 最近のビデオ大言語モデル(Video-LLMs)は、主にVLNが進歩しているが、長いシナリオではState Driftの影響を受けやすい。 本稿では,命令の進行と履歴表現を明示的にアンロックするデュアル・アンチョリング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-19T15:03:38Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
  視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。 無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。 本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
  論文  参考訳（メタデータ） (2026-02-10T11:08:07Z)
• I2EDL: Interactive Instruction Error Detection and Localization [65.25839671641218]
  連続環境(IVLN-CE)における対話型VLNの新たな課題を提案する。 これにより、VLN-CEナビゲーション中にエージェントがユーザと対話し、命令エラーに関する疑念を検証できる。 我々は、事前学習したモジュールを利用して命令エラーを検出し、テキスト入力と過去の観察を相互参照することで、命令中のそれらをピンポイントする。
  論文  参考訳（メタデータ） (2024-06-07T16:52:57Z)
• $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models [89.64729024399634]
  本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。 通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。 これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
  論文  参考訳（メタデータ） (2023-08-15T19:01:19Z)
• Sub-Instruction Aware Vision-and-Language Navigation [46.99329933894108]
  視覚と言語のナビゲーションには、エージェントが自然言語の指示に従って実際の3D環境をナビゲートする必要がある。 視覚的および言語的シーケンスの粒度、および命令の完了によるエージェントのトレーサビリティに焦点を当てる。 本稿では,1つのサブインストラクションを各タイミングで選択・参加する効果的なサブインストラクション・アテンション・アテンションとシフトモジュールを提案する。
  論文  参考訳（メタデータ） (2020-04-06T14:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。