論文の概要: AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2607.11063v1
• Date: Mon, 13 Jul 2026 04:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.325474
• Title: AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation
• Title（参考訳）: AdvNav: 視覚言語ナビゲーションにおける行動誘導型ブラックボックス敵攻撃
• Abstract要約: AdvNavは行動誘導型ブラックボックス攻撃フレームワークである。 ナビゲーション中、エージェントのファーストパーソンのビューを邪魔します。 R2Rデータセット上の2種類のバックボーンを用いてトランスフォーマーベースのHAMTとMapGPTを比較した。
• 参考スコア（独自算出の注目度）: 22.01905444679521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite progress in Embodied AI, Vision-and-Language Navigation systems remain vulnerable to adversarial visual disturbances. Most existing methods rely on white-box access to target model gradients, which is often unrealistic for real-world deployed systems and computationally exhaustive due to recursive backpropagation for optimization, limiting their applicability. While previous black-box methods predominantly target single-step, instantaneous decision tasks, they struggle to handle the task complexities and temporal dependencies. This highlights the need for a gradient-free attack method that can effectively disrupt the multistep sequential perception-action loop using only observable inputs and outputs. Therefore, we propose AdvNav, a behavior-guided black-box adversarial attack framework that disturbs an agent's first-person views during navigation. To construct an informative surrogate objective for effective optimization guidance in gradient-free search under the black-box setting, we design a dual-granularity behavior-based feedback, aggregating a trajectory-level performance score representing overall navigation degradation, an action-level reward score considering the potential decision risk, and a deviation indicator, all of which are extracted from the agent's self-output behaviors. This feedback guides a hybrid optimization strategy that heuristically tunes perturbation strength via adaptive updates and evolves noise spatial structure genetically, to iteratively discover the most disruptive noise configuration. Evaluated against Transformer-based HAMT and LLM-based MapGPT with two types of backbones on R2R dataset, AdvNav achieves 49.70/65.96/87.30% Attack Success Rate. The result demonstrates the effectiveness and generality of AdvNav, reveals critical perception vulnerabilities and offers insights for the design of future resilient VLN models.
• Abstract（参考訳）: Embodied AIの進歩にもかかわらず、ビジョン・アンド・ランゲージ・ナビゲーションシステムは敵の視覚障害に弱いままである。 既存のほとんどの手法は、対象のモデル勾配へのホワイトボックスアクセスに依存しており、実際のシステムでは非現実的であり、再帰的な最適化のバックプロパゲーションのため、その適用性を制限している。 従来のブラックボックスメソッドは主に単一ステップ、即時決定タスクをターゲットとしていましたが、タスクの複雑さと時間的依存関係を扱うのに苦労しています。 これは、観測可能な入力と出力のみを使用して、多段階のシーケンシャルな知覚作用ループを効果的に破壊できる勾配のない攻撃方法の必要性を強調している。 そこで我々は,行動誘導型ブラックボックス攻撃フレームワークAdvNavを提案する。 ブラックボックス設定下でのグラデーションフリー検索における効果的な最適化指導のための情報的サロゲート目的を構築するために,2つのグラニュラリティ行動に基づくフィードバックを設計し,全体のナビゲーション劣化を表す軌道レベルのパフォーマンススコア,潜在的な決定リスクを考慮したアクションレベルの報酬スコア,エージェントの自己出力行動から抽出された偏差指標を集約する。 このフィードバックは、適応的な更新によって摂動強度をヒューリスティックに調整し、ノイズ空間構造を遺伝的に進化させ、最も破壊的なノイズ構成を反復的に発見するハイブリッド最適化戦略を導く。 トランスフォーマーベースのHAMTとLLMベースのMapGPTに対して、R2Rデータセット上の2種類のバックボーンで評価され、AdvNavは49.70/65.96/87.30%のアタック成功率を達成した。 その結果、AdvNavの有効性と汎用性を実証し、重要な認識脆弱性を明らかにし、将来のレジリエントなVLNモデルの設計に対する洞察を提供する。

関連論文リスト

• Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
  本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。 まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。 次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
  論文  参考訳（メタデータ） (2026-08-18T08:37:08Z)
• WAM-Nav: Asymmetric Latent World-Action Modeling for Unified Visual Navigation [31.539730066120374]
  視覚ナビゲーションは、複雑な幾何学的および物理的制約の下で滑らかで衝突のない軌道を生成する必要がある。 WAM-Navは,視覚ナビゲーションを具体化した潜在世界行動モデルであり,行動生成と潜時視予知を共同で学習する。
  論文  参考訳（メタデータ） (2026-06-03T14:05:19Z)
• Stop Wandering: Efficient Vision-Language Navigation via Metacognitive Reasoning [12.880792990007244]
  トレーニングフリーのビジョンランゲージナビゲーション(VLN)エージェントは、指示に従って3D環境を探索することができる。 既存のアプローチは、強欲なフロンティア選択と受動的空間記憶に依存している。 本稿では,空間記憶,履歴認識計画,反射補正を統合したメタ認知ナビゲーションエージェントMetaNavを提案する。
  論文  参考訳（メタデータ） (2026-04-02T17:58:08Z)
• Trajectory-Diversity-Driven Robust Vision-and-Language Navigation [39.4949197412916]
  VLN(Vision-and-Language Navigation)は、自然言語の指示に従い、エージェントがフォトリアリスティックな環境をナビゲートする必要がある。 目標指向ナビゲーションポリシを学習する強化学習フレームワークであるNavGRPOを提案する。 ベースラインよりも+14.89%のSPL向上を示し、目標指向のRLトレーニングがより堅牢なナビゲーションポリシーを構築することを確認した。
  論文  参考訳（メタデータ） (2026-03-16T14:46:54Z)
• Beyond Imitation: Reinforcement Learning Fine-Tuning for Adaptive Diffusion Navigation Policies [31.52910494173408]
  拡散に基づくロボットナビゲーションポリシーは、ロボットの視覚的観察から直接マルチモーダルな軌道を生成することができる。 拡散型ナビゲーションに適した強化学習フレームワークを提案する。 提案手法は, 衝突頻度を低減しつつ, 52.0%から58.7%, SPLを0.49から0.54に改善する。
  論文  参考訳（メタデータ） (2026-03-13T10:14:32Z)
• \ extsc{NaVIDA}: Vision-Language Navigation with Inverse Dynamics Augmentation [50.027425808733994]
  textscNaVIDAは、ポリシー学習とアクショングラウンドの視覚力学と適応実行を結合した統合VLNフレームワークである。 textscNaVIDAは、チャンクベースの逆ダイナミクスによるトレーニングを強化し、視覚変化と対応するアクションの因果関係を学習する。 実験の結果,textscNaVIDAはパラメータが少ない最先端の手法に比べてナビゲーション性能が優れていることがわかった。
  論文  参考訳（メタデータ） (2026-01-26T06:16:17Z)
• CoINS: Counterfactual Interactive Navigation via Skill-Aware VLM [13.352875026471445]
  スキル認識型VLM(CoINS)による対物対話ナビゲーションを提案する。 我々は、スキルの余裕と具体的な制約パラメータを入力コンテキストに組み込んだ、InterNav-VLMというVLMを微調整する。 生成した高レベルプランを実行するために,強化学習による総合的なスキルライブラリを開発する。
  論文  参考訳（メタデータ） (2026-01-07T14:10:46Z)
• GoViG: Goal-Conditioned Visual Navigation Instruction Generation [69.79110149746506]
  本稿では,Goal-Conditioned Visual Navigation Instruction Generation (GoViG)を紹介する。 GoViGは生のエゴセントリックな視覚データのみを活用し、目に見えない非構造環境への適応性を大幅に改善する。
  論文  参考訳（メタデータ） (2025-08-13T07:05:17Z)
• DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation [73.80968452950854]
  Vision-Language Navigation in Continuous Environments (VLN-CE) は、エージェントが自由形式の3D空間を通して自然言語の指示に従う必要がある。 既存のVLN-CEアプローチは通常、2段階のウェイポイント計画フレームワークを使用する。 本稿では,エンドツーエンド最適化VLN-CEポリシとしてDAgger Diffusion Navigation (DifNav)を提案する。
  論文  参考訳（メタデータ） (2025-08-13T02:51:43Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Towards Physically Realizable Adversarial Attacks in Embodied Vision Navigation [18.218913010189237]
  対象物に対向パッチを付けることで視覚ナビゲーションを具体化するための実用的な攻撃法を提案する。 敵のパッチは平均22.39%の航法成功率を低下させ, 実用性, 有効性, 自然性において従来の手法より優れていた。
  論文  参考訳（メタデータ） (2024-09-16T08:21:22Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)
• Adversarial Reinforced Instruction Attacker for Robust Vision-Language Navigation [145.84123197129298]
  自然言語に基づくナビゲーションタスクでは,言語指導が重要な役割を担っている。 より堅牢なナビゲータを訓練し、長い指導から重要な要素を動的に抽出する。 具体的には,航法士が間違った目標に移動することを誤認することを学習する動的強化命令攻撃装置(DR-Attacker)を提案する。
  論文  参考訳（メタデータ） (2021-07-23T14:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。