論文の概要: PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention

• arxiv url: http://arxiv.org/abs/2602.19418v1
• Date: Mon, 23 Feb 2026 01:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.635766
• Title: PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention
• Title（参考訳）: PA-Attack:プロトタイプと注意によるLVLMビジョンエンコーダ上でのGray-Box攻撃の誘導
• Authors: Hefei Mei, Zirui Wang, Chang Xu, Jianyuan Guo, Minjing Dong,
• Abstract要約: LVLM(Large Vision-Language Models)は、現代のマルチモーダルアプリケーションの基礎となっているが、敵攻撃に対する感受性は依然として重要な問題である。 本稿では, PA-Attack (Prototype-Anchored Attentive Attack) を導入し, 属性制限問題に対処し, バニラ攻撃のタスク一般化を限定する。 実験の結果、PA-Attackは平均75.1%のスコア低減率(SRR)を達成し、LVLMの強力な攻撃効率、効率、タスク一般化を示すことがわかった。
• 参考スコア（独自算出の注目度）: 63.63231191403825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) are foundational to modern multimodal applications, yet their susceptibility to adversarial attacks remains a critical concern. Prior white-box attacks rarely generalize across tasks, and black-box methods depend on expensive transfer, which limits efficiency. The vision encoder, standardized and often shared across LVLMs, provides a stable gray-box pivot with strong cross-model transfer. Building on this premise, we introduce PA-Attack (Prototype-Anchored Attentive Attack). PA-Attack begins with a prototype-anchored guidance that provides a stable attack direction towards a general and dissimilar prototype, tackling the attribute-restricted issue and limited task generalization of vanilla attacks. Building on this, we propose a two-stage attention enhancement mechanism: (i) leverage token-level attention scores to concentrate perturbations on critical visual tokens, and (ii) adaptively recalibrate attention weights to track the evolving attention during the adversarial process. Extensive experiments across diverse downstream tasks and LVLM architectures show that PA-Attack achieves an average 75.1% score reduction rate (SRR), demonstrating strong attack effectiveness, efficiency, and task generalization in LVLMs. Code is available at https://github.com/hefeimei06/PA-Attack.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、現代のマルチモーダルアプリケーションの基礎となっているが、敵攻撃に対する感受性は依然として重要な問題である。 従来のホワイトボックス攻撃はタスクをまたいで一般化することは滅多になく、ブラックボックスの手法は高価な転送に依存するため効率が制限される。 ビジョンエンコーダは、LVLM間で標準化され、しばしば共有され、強力なクロスモデル転送を備えた安定したグレーボックスピボットを提供する。 この前提に基づいてPA-Attack(Prototype-Anchored Attentive Attack)を導入する。 PA-Attackは,属性制限問題に対処し,バニラ攻撃のタスク一般化を限定した,汎用的で異種なプロトタイプに対する安定した攻撃方向を提供するプロトタイプアンコールガイダンスから始まる。 これに基づいて,2段階の注意力増強機構を提案する。 一 重要な視覚的トークンに摂動を集中させるため、トークンレベルの注意スコアを活用すること。 (II) 対向過程の進行する注意を追跡するために、注意重みを適応的に補正する。 様々な下流タスクとLVLMアーキテクチャにわたる大規模な実験により、PA-Attackは平均75.1%のスコア削減率(SRR)を達成し、LVLMにおける強力な攻撃効率、効率、タスク一般化を示す。 コードはhttps://github.com/hefeimei06/PA-Attack.comで入手できる。

関連論文リスト

• On the Adversarial Robustness of Discrete Image Tokenizers [56.377796750281796]
  まず、離散トークン化器によって抽出された特徴を摂動させることを目的とした攻撃を定式化し、抽出したトークンを変更する。 我々は、教師なしの敵の訓練で人気のあるトークンライザを微調整し、他のすべてのコンポーネントを凍結させます。 提案手法は,教師なし攻撃とエンドツーエンド攻撃の両方に対するロバスト性を大幅に向上させ,未知のタスクやデータに対して良好に一般化する。
  論文  参考訳（メタデータ） (2026-02-20T14:39:17Z)
• Steering in the Shadows: Causal Amplification for Activation Space Attacks in Large Language Models [8.92145245069646]
  本稿では,デコーダのみの大規模言語モデル(LLM)における中間的アクティベーションが,行動制御のための脆弱な攻撃面を形成することを示す。 我々はこれを、段階的なアクティベーションレベル攻撃であるSensitivity-Scaled Steering (SSS)による攻撃面として活用する。 SSSは,高いコヒーレンスと汎用性を維持しつつ,悪,幻覚,覚醒,情緒に大きな変化をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-11-21T12:19:55Z)
• Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models [54.61181161508336]
  MFA(Multi-Faceted Attack)は、防衛装備型ビジョンランゲージモデル(VLM)の一般的な安全性上の脆弱性を明らかにするフレームワークである。 MFAの中核となるコンポーネントはアテンション・トランスファー・アタック(ATA)であり、競合する目的を持ったメタタスク内に有害な命令を隠す。 MFAは58.5%の成功率を獲得し、既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-20T07:12:54Z)
• Universal Camouflage Attack on Vision-Language Models for Autonomous Driving [67.34987318443761]
  自動運転のためのビジュアル言語モデリングが、有望な研究方向として浮上している。 VLM-ADは、敵の攻撃による深刻なセキュリティ脅威に弱いままである。 VLM-ADのための最初のユニバーサルカモフラージュ攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:52:01Z)
• VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models [33.120141513366136]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解と生成において顕著な能力を示す。 既存の効果的な攻撃は常にタスク固有のホワイトボックス設定に集中する。 我々は,LVLMのビジョンエンコーダのみをターゲットとした,シンプルで効果的なビジョンアタック(VEAttack)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:46:04Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Adversarial Attacks on LiDAR-Based Tracking Across Road Users: Robustness Evaluation and Target-Aware Black-Box Method [6.6391733681417415]
  本稿では,3次元物体追跡の文脈において,敵攻撃を行うための統一的なフレームワークを提案する。 ブラックボックス攻撃のシナリオに対処するために,新たなトランスファーベースアプローチであるTarget-aware Perturbation Generation (TAPG)アルゴリズムを導入する。 実験の結果,ブラックボックスとホワイトボックスの両方の攻撃を受けた場合,高度な追跡手法に重大な脆弱性があることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T10:20:38Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。