論文の概要: If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2608.17318v1
- Date: Tue, 18 Aug 2026 03:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.194093
- Title: If, Then, Otherwise: Diagnosing Conditional Branching in Vision-Language Navigation
- Title（参考訳）: 視覚言語ナビゲーションにおける条件分岐の診断
- Abstract要約: 本研究では,条件分岐視覚ナビゲーションのためのシーングラフグラウンドベンチマークであるCondVLNを紹介する。
CondVLNは、分岐深さ、依存性チェーン長、空間組成、エビデンスオブザーバビリティ、命令水平の制御された条件付き命令を生成する。
標準的なVLNメトリクスとブランチ固有の診断(ブランチ選択精度と条件付き成功率)を使用してエージェントを評価する。
- 参考スコア（独自算出の注目度）: 22.10681380360471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language navigation agents are often evaluated on their ability to follow route-like instructions toward a fixed goal. Yet, real navigation instructions often depend on observed states of the environment: if a condition holds, then follow one path, otherwise take another. Such instructions require an agent to evaluate scene evidence, select the correct logical branch, and execute the corresponding navigation behavior. Existing evaluations provide limited control over conditional branch execution, making it difficult to determine whether agents fail because of perception, grounding, navigation, or logical decision-making. We introduce CondVLN, a scene-graph-grounded benchmark for diagnosing conditional branching in vision-language navigation. CondVLN programmatically generates instructions whose branch conditions are grounded in verifiable 3D scene-graph predicates, with controlled variation in branch depth, dependency chain length, spatial composition, evidence observability, and instruction horizon. CondVLN contains over 11,500 generated conditional instructions across AI2-THOR, Matterport3D, Gibson, and ReplicaCAD, and evaluates agents using standard VLN metrics and branch-specific diagnostics: Branch Selection Accuracy and Conditional Success Rate. Evaluating four state-of-the-art VLN agents (VLN-Zero, NaVid, NaVILA, and Open-Nav) shows that conditional branching exposes failures that are not captured by standard success rate or path length alone: agents can navigate plausibly while committing to a branch inconsistent with the observed scene condition. We also present a lightweight neurosymbolic branch-selection model that separates condition grounding from navigation execution, improving performance by 2x. CondVLN provides a reusable testbed for measuring whether embodied agents can not only follow instructions, but follow the right instruction under the right condition.
- Abstract（参考訳）: 視覚言語ナビゲーションエージェントは、しばしば、固定目標に向けてルートのような指示に従う能力で評価される。
しかし、実際のナビゲーション命令は、しばしば環境の観察された状態に依存します。
このような命令では、エージェントがシーンのエビデンスを評価し、正しい論理分岐を選択し、対応するナビゲーション動作を実行する必要がある。
既存の評価は条件分岐実行に対する限定的な制御を提供しており、エージェントが認識、接地、ナビゲーション、論理的意思決定のために失敗するかどうかを判断することは困難である。
本研究では,視覚言語ナビゲーションにおける条件分岐の診断のためのシーングラフグラウンドベンチマークであるCondVLNを紹介する。
CondVLNは、分岐条件が検証可能な3次元シーングラフの述語に接地された命令をプログラム的に生成し、分岐深さ、依存性チェーン長、空間組成、エビデンスオブザーバビリティ、命令水平線が制御される。
CondVLNはAI2-THOR、Matterport3D、Gibson、ReplicaCADにまたがる11,500以上の条件命令を含み、標準VLNメトリクスとブランチ固有の診断:ブランチ選択精度と条件付き成功率を使用してエージェントを評価する。
最先端の4つのVLNエージェント(VLN-Zero、NaVid、NaVILA、Open-Nav)を評価すると、条件分岐は標準的な成功率や経路長だけで捕捉されない障害を露呈する。
また,ナビゲーション実行から条件グラウンドを分離し,性能を2倍に向上する,軽量なニューロシンボリック分岐選択モデルを提案する。
CondVLNは、エンボディエージェントが命令に従うだけでなく、正しい条件下で正しい命令に従うことができるかどうかを測定するための再利用可能なテストベッドを提供する。
関連論文リスト
- VerNav: Verifier-First Low-Latency Vision-and-Language Navigation [7.190348268664948]
VLN(Vision-and-Language Navigation)は、エージェントが自然の遅延指示に従って見えない3D環境をナビゲートする必要がある。
我々は低言語LLMベースのVLNのための検証ファーストフレームワークであるVerNavを提案する。
論文 参考訳（メタデータ） (2026-09-01T08:45:15Z) - From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation [2.7718125488816003]
Route2Stepは、明示的なステップレベルインターフェースを通じてアクション生成からセマンティックプログレストラッキングを分離するフレームワークである。
R2R-CEでは、R2StepはSRを48.1%から55.3%に改善し、SPLを43.3%から48.2%に改善し、190Kの州レベルの修正サンプルを使用する。
論文 参考訳（メタデータ） (2026-08-04T05:14:45Z) - Latent-Centroid Steering: Single-Pass Classifier-Free Guidance for Command-Aligned Autonomous Driving [37.533498955258544]
本稿では,インスタンスレベルの残差をクラスレベルの遅延シフトに置き換える単一パス誘導機構を提案する。
我々はLCSがより強力なコマンドアテンデンスを実現しつつ、推論遅延を約50%削減できることを実証した。
論文 参考訳（メタデータ） (2026-07-31T19:32:28Z) - VTM-Nav: Hierarchical Visual-Topological Memory for Cross-Episode Object-Goal Navigation [55.45263611374435]
エージェントが同じシーンで繰り返し操作し、自己獲得経験のみを保持し、モデルパラメータを固定するクロスエポソードオブジェクトゴールナビゲーションを提案する。
経験の再利用を支援するために,永続的階層型ビジュアルトポロジカルメモリ(VTM)を用いたトレーニング不要なVLMナビゲーションフレームワークを提案する。
提案手法は,3つのベンチマークすべてで最高のパフォーマンスを実現し,データセット間の構造化視覚トポロジカルエクスペリエンスの再利用の有効性と堅牢性を示す。
論文 参考訳（メタデータ） (2026-07-16T03:11:37Z) - ReflectVLN: Training Vision-Language Navigation Agents with Reflective Reasoning [3.003666403039533]
ReflectVLNは双方向の対話的意図と実行エージェントを通じて意思決定を組織するエージェントVLNフレームワークである。
我々は、制約付きデータ予算の下で、ReflectVLNが成功率とパス効率を改善することを示す。
論文 参考訳（メタデータ） (2026-07-14T12:09:33Z) - CLOSER-VLN: Closed-Loop Self-Verified Retrieval-Augmented Reasoning for Aerial Vision-Language Navigation [10.221757123615786]
視覚言語ナビゲーション(VLN)は、タスク固有のナビゲーションポリシーをトレーニングすることなく、エージェントが見えない環境で自然言語の指示に従うことができる、大規模な言語モデルとマルチモーダルモデルで最近進歩した。
既存のVLNメソッドの多くは、命令や観察から候補アクションが生成されるが、実行前に検証や修正されることは滅多にない、オープンループ決定実行アプローチに依存している。
コンクリート施工前にクローズループ方式で行動推論,信頼性検証,ターゲット検索,行動補正を逐次行う訓練自由度法であるCLOSERを提案する。
論文 参考訳（メタデータ） (2026-06-24T05:57:42Z) - AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation [98.79811866787263]
診断メタ評価フレームワークであるMetaFineを紹介する。
局所的な空間構造を保存できる視覚エンコーダの能力は,きめ細かな精度の鍵となるボトルネックである。
評価をランキングから診断にシフトすることで、MetaFineは、ベンチマークを実際の物理デキスタリティに基づく階層化された能力の修復のための実行可能なコンパスに変換する。
論文 参考訳（メタデータ） (2026-05-19T15:25:13Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - EmergeNav: Structured Embodied Inference for Zero-Shot Vision-and-Language Navigation in Continuous Environments [9.501082922618542]
重要なボトルネックは知識の欠如ではなく,指示の体系化,知覚的基礎化,時間的進歩,ステージ検証といった実行構造が欠落している,と我々は主張する。
構造的具体的推論として連続VLNを定式化するゼロショットフレームワークであるEmergeNavを提案する。
VLN-CEでは、EmergeNavはオープンソースのVLMバックボーンのみを使用し、タスク固有のトレーニング、明示的なマップ、グラフ検索、ウェイポイント予測子を使用せずに、強力なゼロショットパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-16T14:07:51Z) - I2EDL: Interactive Instruction Error Detection and Localization [65.25839671641218]
連続環境(IVLN-CE)における対話型VLNの新たな課題を提案する。
これにより、VLN-CEナビゲーション中にエージェントがユーザと対話し、命令エラーに関する疑念を検証できる。
我々は、事前学習したモジュールを利用して命令エラーを検出し、テキスト入力と過去の観察を相互参照することで、命令中のそれらをピンポイントする。
論文 参考訳（メタデータ） (2024-06-07T16:52:57Z) - Mind the Error! Detection and Localization of Instruction Errors in Vision-and-Language Navigation [65.25839671641218]
そこで本研究では,潜在的な人的原因を考慮に入れた各種命令誤りを導入した新しいベンチマークデータセットを提案する。
我々のベンチマークで最先端のVLN-CE法を評価する場合、成功率において顕著な性能低下(最大-25%)が観測される。
また, エラー検出とローカライゼーションにおいて, 最適な性能を実現するための, クロスモーダルトランスフォーマーアーキテクチャに基づく効率的な手法を提案する。
論文 参考訳（メタデータ） (2024-03-15T21:36:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。