論文の概要: Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

• arxiv url: http://arxiv.org/abs/2605.25194v1
• Date: Sun, 24 May 2026 17:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.959228
• Title: Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack
• Title（参考訳）: 局所化と中性化:視覚プロンプトインジェクションアタックに対するグラディエント誘導トケン抑制
• Authors: Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang,
• Abstract要約: 敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。 敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。 本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
• 参考スコア（独自算出の注目度）: 78.02110947708535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial images pose a severe security threat to multimodal large language models through prompt injection. Existing defenses largely lack a principled understanding of the underlying mechanisms and struggle to balance efficiency and defense utility. In this work, we show that successful adversarial attacks do not rely on the entire image uniformly but instead depend on a small subset of critical image tokens. Based on this insight, we propose Gradient Token Masking (GTM), which localizes these tokens via gradient analysis and neutralizes them through masking. We find that attribution based on the first generated token's output probability fails when attacks preserve the predicted token. To overcome this, GTM utilizes the Hidden-State Gradient Norm score for generation-influence attribution under adversarial inputs. We prove that its ranking is consistent with that of the full adversarial loss gradient, providing a theoretical guarantee for accurate localization. Our method requires only a single forward-backward pass to identify and zero out a small number of high-scoring tokens, effectively disrupting the adversarial attack path. Extensive experiments on prompt injection and multimodal jailbreak attacks demonstrate that our approach reduces attack success rates (ASR) to near zero while preserving model utility with negligible computational overhead.
• Abstract（参考訳）: 敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。 既存の防衛は、根底にあるメカニズムの原則的な理解と、効率性と防衛能力のバランスをとるのに苦労を欠いていた。 本研究では, 敵攻撃を成功させるには, 画像全体を一様に依存するのではなく, 重要な画像トークンの小さなサブセットに依存していることを示す。 この知見に基づき、勾配解析によりこれらのトークンを局所化し、マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。 攻撃が予測されたトークンを保存すると、最初のトークンの出力確率に基づく属性が失敗することがわかった。 これを解決するため、GTMはHidden-State Gradient Normスコアを、逆入力による世代影響属性に利用する。 我々は、そのランクが全対逆損失勾配の値と一致することを証明し、正確なローカライゼーションの理論的保証を提供する。 本手法では,少数のハイスコアトークンを識別・ゼロにするためには,前向きの1つのパスしか必要とせず,敵の攻撃経路を効果的に破壊する。 高速注入とマルチモーダル・ジェイルブレイク攻撃による広範囲な実験により,本手法は計算オーバーヘッドが無視できるモデルユーティリティを保ちながら,攻撃成功率(ASR)をほぼゼロに抑えることを示した。

関連論文リスト

• Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring [13.497048408038935]
  LVLM(Large Vision-Language Models)は、増え続けるマルチモーダル・ジェイルブレイク攻撃に対して脆弱である。 現在の異常検出法は、新しい良性入力を悪意のある入力と混同する傾向があり、信頼性の低いオーバーリジェクションにつながる。 我々は,LVLMの内部表現に最も強力な安全信号が存在するという,重要な洞察に基づくフレームワークであるRepresentational Contrastive Scoring (RCS)を提案する。
  論文  参考訳（メタデータ） (2025-12-12T22:31:38Z)
• Matching Ranks Over Probability Yields Truly Deep Safety Alignment [8.692532301315135]
  近年の研究では、データ拡張を用いた教師付き微調整(SFT)ディフェンスを提案して、列挙された深度安全アライメントを実現した。 このようなアプローチによって作り出される"ディープ"な安全アライメントは、実際にはそれほど深くないことを示す。 本稿では,その確率ではなく,目標分布のトークンランクを一致させることにより,より深い安全アライメントを実現するための新たな視点を提案する。
  論文  参考訳（メタデータ） (2025-12-05T08:22:27Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations [10.746349111023964]
  ネットワーク内の中間トークン表現にIH信号を注入する新しい手法を提案する。 本手法は、これらの表現を、特権情報をエンコードする層固有のトレーニング可能な埋め込みで拡張する。 複数のモデルとトレーニング手法で評価した結果、提案手法は攻撃成功率の1.6倍から9.2倍の9.2倍に低下することがわかった。
  論文  参考訳（メタデータ） (2025-05-25T00:01:39Z)
• Boosting Jailbreak Attack with Momentum [5.047814998088682]
  大規模言語モデル(LLM)は様々なタスクで顕著な成功を収めていますが、敵の攻撃に弱いままです。 textbfAccelerated GbfCG (textbfMAC)アタックは、運動量項を勾配に統合し、逆のプロンプトにおけるランダムなトークンの探索を強化し安定化させる。
  論文  参考訳（メタデータ） (2024-05-02T12:18:14Z)
• Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
  トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。 具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。 現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-12-31T08:40:42Z)
• GreedyFool: Distortion-Aware Sparse Adversarial Attack [138.55076781355206]
  現代のディープニューラルネットワーク(DNN)は、敵のサンプルに対して脆弱である。 スパース逆数サンプルは、数ピクセルだけを摂動させることでターゲットモデルを騙すことができる。 GreedyFoolと呼ばれる2段階の歪みを考慮したグリーディ法を提案する。
  論文  参考訳（メタデータ） (2020-10-26T17:59:07Z)
• Patch-wise Attack for Fooling Deep Neural Network [153.59832333877543]
  我々は,一般的な訓練と防御モデルに対するブラックボックス攻撃であるパッチワイド反復アルゴリズムを提案する。 我々は、防衛モデルで9.2%、通常訓練されたモデルで3.7%、成功率で著しく改善した。
  論文  参考訳（メタデータ） (2020-07-14T01:50:22Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。