論文の概要: Enhancing Targeted Adversarial Attacks on Large Vision-Language Models through Intermediate Projector Guidance

• arxiv url: http://arxiv.org/abs/2508.13739v1
• Date: Tue, 19 Aug 2025 11:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.899776
• Title: Enhancing Targeted Adversarial Attacks on Large Vision-Language Models through Intermediate Projector Guidance
• Title（参考訳）: 中間プロジェクタ誘導による大規模視線モデルに対する目標敵攻撃の強化
• Abstract要約: 現在の敵対者は、エンコーダレベルでターゲットテキストや参照画像とグローバルな類似性を最大化するために、摂動画像を攻撃します。 この制限は粒度を攻撃し、背景を保ちながら車を変更するなどの微粒な操作を妨げる。 本稿では,プロジェクタモジュールの中間段階,特に広く採用されているQ-Formerを用いた攻撃手法であるIPGAを提案する。 本手法は,ブラックボックス環境において,標準的なグローバル画像キャプションタスクときめ細かな視覚的質問応答タスクの両方において,既存の手法よりも一貫して優れる。
• 参考スコア（独自算出の注目度）: 9.68652944150964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Targeted adversarial attacks are essential for proactively identifying security flaws in Vision-Language Models before real-world deployment. However, current methods perturb images to maximize global similarity with the target text or reference image at the encoder level, collapsing rich visual semantics into a single global vector. This limits attack granularity, hindering fine-grained manipulations such as modifying a car while preserving its background. Furthermore, these methods largely overlook the projector module, a critical semantic bridge between the visual encoder and the language model in VLMs, thereby failing to disrupt the full vision-language alignment pipeline within VLMs and limiting attack effectiveness. To address these issues, we propose the Intermediate Projector Guided Attack (IPGA), the first method to attack using the intermediate stage of the projector module, specifically the widely adopted Q-Former, which transforms global image embeddings into fine-grained visual features. This enables more precise control over adversarial perturbations by operating on semantically meaningful visual tokens rather than a single global representation. Specifically, IPGA leverages the Q-Former pretrained solely on the first vision-language alignment stage, without LLM fine-tuning, which improves both attack effectiveness and transferability across diverse VLMs. Furthermore, we propose Residual Query Alignment (RQA) to preserve unrelated visual content, thereby yielding more controlled and precise adversarial manipulations. Extensive experiments show that our attack method consistently outperforms existing methods in both standard global image captioning tasks and fine-grained visual question-answering tasks in black-box environment. Additionally, IPGA successfully transfers to multiple commercial VLMs, including Google Gemini and OpenAI GPT.
• Abstract（参考訳）: ターゲットの敵攻撃は、現実の展開前にビジョンランゲージモデルのセキュリティ欠陥を積極的に識別するために不可欠である。 しかし、現在の方法では、エンコーダレベルでターゲットテキストや参照画像とグローバルな類似性を最大化し、リッチな視覚的セマンティクスを1つのグローバルベクタに分解する。 この制限は粒度を攻撃し、背景を保ちながら車を変更するなどの微粒な操作を妨げる。 さらに、これらの手法は、視覚エンコーダとVLMの言語モデルの間の重要なセマンティックブリッジであるプロジェクターモジュールを概ね見落としており、それによってVLM内の完全な視覚言語アライメントパイプラインが破壊され、攻撃の有効性が制限される。 これらの問題に対処するために,プロジェクタモジュールの中間段階,特にグローバルな画像埋め込みをきめ細かな視覚的特徴に変換する広く採用されているQ-Formerを用いた攻撃方法として,IPGA(Intermediate Projector Guided Attack)を提案する。 これにより、単一のグローバル表現ではなく、意味的に意味のある視覚的トークンを操作することで、敵の摂動をより正確に制御できる。 具体的には、IPGAは、LLMを微調整することなく、第1の視覚言語アライメントステージのみに事前訓練されたQ-Formerを活用する。 さらに,RQA(Residual Query Alignment)を提案する。 大規模な実験により, ブラックボックス環境下では, 標準的なグローバル画像キャプションタスクときめ細かな視覚質問応答タスクの両方において, 従来手法よりも常に優れていたことが確認された。 さらに、IPGAはGoogle GeminiやOpenAI GPTなど、複数の商用VLMへの転送に成功した。

関連論文リスト

• Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment [56.085182951399496]
  敵対的摂動は、特定の対象物として良性画像を認識するマルチモーダル大言語モデル(MLLM)を誤解させる可能性がある。 これにより、ブラックボックスMLLMの堅牢性を理解し改善するために、転送ベースのターゲットアタックが重要である。 マルチスケールなグローバルなセマンティックガイダンスとロバストな中間層局所アライメントを統合した,トランスファーベースの攻撃フレームワークであるPRAF-Attackを提案する。
  論文  参考訳（メタデータ） (2026-05-11T02:45:48Z)
• PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention [63.63231191403825]
  LVLM(Large Vision-Language Models)は、現代のマルチモーダルアプリケーションの基礎となっているが、敵攻撃に対する感受性は依然として重要な問題である。 本稿では, PA-Attack (Prototype-Anchored Attentive Attack) を導入し, 属性制限問題に対処し, バニラ攻撃のタスク一般化を限定する。 実験の結果、PA-Attackは平均75.1%のスコア低減率(SRR)を達成し、LVLMの強力な攻撃効率、効率、タスク一般化を示すことがわかった。
  論文  参考訳（メタデータ） (2026-02-23T01:20:43Z)
• MTAttack: Multi-Target Backdoor Attacks against Large Vision-Language Models [52.37749859972453]
  我々は,LVLMにおける複数のトリガターゲットマッピングを正確に行うための,最初のマルチターゲットバックドアアタックフレームワークであるMTAttackを提案する。 人気のあるベンチマークの実験では、マルチターゲット攻撃に対するMTAttackの成功率が高いことが示されている。 我々の攻撃は、データセット間での強力な一般化性と、バックドア防衛戦略に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2025-11-13T09:00:21Z)
• VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models [33.120141513366136]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解と生成において顕著な能力を示す。 既存の効果的な攻撃は常にタスク固有のホワイトボックス設定に集中する。 我々は,LVLMのビジョンエンコーダのみをターゲットとした,シンプルで効果的なビジョンアタック(VEAttack)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:46:04Z)
• Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
  敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。 攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。 普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
  論文  参考訳（メタデータ） (2025-05-02T06:51:11Z)
• AIM: Additional Image Guided Generation of Transferable Adversarial Attacks [72.24101555828256]
  トランスファー可能な敵の例は、さまざまな現実世界のアプリケーションにまたがる知覚できない摂動に対するディープニューラルネットワーク(DNN)の脆弱性を強調している。 本研究は,ターゲットの移動可能な攻撃に対する生成的アプローチに焦点を当てる。 本稿では,汎用ジェネレータアーキテクチャに新しいプラグイン・アンド・プレイモジュールを導入し,対向トランスファビリティを向上する。
  論文  参考訳（メタデータ） (2025-01-02T07:06:49Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• Chain of Attack: On the Robustness of Vision-Language Models Against Transfer-Based Adversarial Attacks [34.40254709148148]
  事前学習された視覚言語モデル(VLM)は、画像および自然言語理解において顕著な性能を示した。 彼らの潜在的な安全性と堅牢性の問題は、敵がシステムを回避し、悪意のある攻撃を通じて有害なコンテンツを生成することを懸念する。 本稿では,マルチモーダルなセマンティック・アップデートに基づいて,敵対的事例の生成を反復的に促進するアタック・チェーン(CoA)を提案する。
  論文  参考訳（メタデータ） (2024-11-24T05:28:07Z)
• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 私たちのゴールは、ローカルとグローバルの両方の画像セマンティクスを効果的にキャプチャするビジョンバックボーンでこれを解決することです。 局所性アライメントとMaskEmbedと呼ばれる新しい微調整手順を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Break the Visual Perception: Adversarial Attacks Targeting Encoded Visual Tokens of Large Vision-Language Models [15.029014337718849]
  大きな視覚言語モデル(LVLM)は、視覚情報を大きな言語モデルに統合し、目覚ましい多モーダルな会話能力を示す。 一般に、LVLMは視覚エンコーダに頼って画像を視覚トークンに変換するが、これは言語モデルが画像の内容を効果的に知覚するのに不可欠である。 本稿では,VT-Attackと呼ばれる非標的攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T09:06:56Z)
• AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models [39.34959092321762]
  VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。 我々は、従来の攻撃の制限を超越した自己教師型フレームワークであるAnyAttackを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T09:45:18Z)
• CLIP-Guided Generative Networks for Transferable Targeted Adversarial Attacks [52.29186466633699]
  トランスファー可能な敵攻撃は、ブラックボックスのシナリオで敵が特定した予測を出力するモデルを誤解させることを目的としている。 textitsingle-target 生成攻撃は、高い転送可能な摂動を生成するために、各ターゲットクラスのジェネレータを訓練する。 textbfCLIP-guided textbfGenerative textbfNetwork with textbfCross-attention module (CGNC) to enhance multi-target attack。
  論文  参考訳（メタデータ） (2024-07-14T12:30:32Z)
• Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
  転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。 既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。 本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:45:27Z)
• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• GiT: Towards Generalist Vision Transformer through Universal Language Interface [94.33443158125186]
  本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。 GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
  論文  参考訳（メタデータ） (2024-03-14T13:47:41Z)
• InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
  大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。 本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。 本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:40:05Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。