論文の概要: Mind the Spike: Mechanisms and Brittleness of Visual Massive Activations in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.32808v1
• Date: Sat, 26 Sep 2026 17:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:02:55.143175
• Title: Mind the Spike: Mechanisms and Brittleness of Visual Massive Activations in Large Vision-Language Models
• Title（参考訳）: マインド・ザ・スパイク(Mind the Spike) : 視覚・言語モデルにおける視覚活動のメカニズムと脆さ
• Abstract要約: 大規模視覚言語モデル(LVLM)は、テキストのみのベースから大規模なアクティベーションを継承する。 視覚的なスパイクは画像によって異なるが、その形成が一貫したパターンに従うかどうかは未解決のままである。 本研究は,2Bから72Bパラメータの10種類のテキストのみのベースを18個リリースしたアダプタベースのLVLMを25個構築した。
• 参考スコア（独自算出の注目度）: 28.88844991664183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) inherit massive activations from their text-only bases: spikes where a few fixed hidden channels receive values thousands of times above the typical magnitude. The text spike systematically appears in early layers at a fixed initial position, independently of input content. Visual spikes vary across images, but whether their formation follows a consistent pattern across LVLMs and how they respond to image perturbations remain open questions. We find that some LVLMs do not form visual spikes, while others spike at different rates, typically in deeper layers. We identify the trigger direction from model weights and an interpretable location rule: before the language model decoder runs, eventual spike tokens are largely restricted to those sharing least with the rest of the image. Crucially, visual spikes are strikingly brittle. Common corruptions frequently create and relocate spikes, and less often remove them, raising overall incidence. Our trigger-guided spike attack deliberately creates or removes spikes under a small $\ell_\infty$ budget, with 1/255 enough in nine of the ten models that spike. Finally, our preventive intervention removes only the trigger component before spikes erupt, eliminating or substantially reducing spikes on clean and perturbed images while leaving the other image tokens nearly unchanged. Our study spans 25 adapter-based LVLMs built on 18 released text-only bases from 10 families, ranging from 2B to 72B parameters.
• Abstract（参考訳）: 大規模な視覚言語モデル(LVLM)はテキストのみのベースから大量のアクティベーションを継承する。 テキストスパイクは、入力内容とは独立して、初期位置で初期層に体系的に現れる。 視覚的なスパイクは画像によって異なるが、それらの形成がLVLM全体の一貫したパターンに従っているかどうか、イメージの摂動に対する反応がオープンな疑問のままである。 一部のLVLMは視覚的なスパイクを形成していないが、他のLVLMは異なるレートでスパイクしている。 言語モデルデコーダが実行される前に、最終的なスパイクトークンは、画像の他の部分とほとんど共有しないものに大きく制限される。 重要なことに、視覚的なスパイクは著しく脆い。 一般的な汚職はしばしばスパイクを発生・移動させ、それを取り除くことは少なく、全体的なインシデントを引き起こす。 私たちのトリガー誘導スパイク攻撃は、小さな$\ell_\infty$予算の下でスパイクを意図的に生成または除去します。 最後に、我々の予防介入は、スパイクが発生する前のトリガー成分のみを除去し、他の画像トークンをほとんど変更することなく、クリーンで摂動された画像のスパイクを除去または実質的に低減する。 本研究は,2Bから72Bパラメータの10種類のテキストのみのベースを18個リリースしたアダプタベースのLVLMを25個構築した。

関連論文リスト

• FreqDoor: A Hidden Trojan in the Frequency Domain for Backdoor Attacks on Vision-Language Models [0.18352113484137622]
  我々は、周波数領域にトリガを埋め込む訓練時間バックドアアタックであるtextsc FreqDoorを提案する。 Flickr8kでは、textsc FreqDoorが攻撃成功率99.6%$、99.8%$、9.4%$をそれぞれ達成している。
  論文  参考訳（メタデータ） (2026-09-07T05:11:12Z)
• Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
  敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。 敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。 本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
  論文  参考訳（メタデータ） (2026-05-24T17:51:34Z)
• Mitigating Mask Prior Drift and Positional Attention Collapse in Large Diffusion Vision-Language Models [7.964052580720558]
  LDVLMは反復的な生成と劣化した視覚的接地に悩まされている。 本研究では,Mask Prior Suppression と Monotonic RoPE Scaling を導入したトレーニングフリーアプローチを提案する。 以上の結果から,これらの障害は軽量なプラグアンドプレイ戦略によって効果的に対処できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-14T08:11:32Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• An Invisible Backdoor Attack Based On Semantic Feature [0.0]
  過去数年間、バックドア攻撃はディープニューラルネットワーク(DNN)モデルに深刻な脅威を与えてきた。 我々は、新しいバックドア攻撃を提案し、不可避な変更を行う。 我々は3つの画像分類データセットに対する攻撃を評価した。
  論文  参考訳（メタデータ） (2024-05-19T13:50:40Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [58.10730906004818]
  画像に誤解を招くテキストを追加するタイポグラフィー攻撃は、視覚言語モデル(LVLM)を欺くことができる 実験の結果,これらの攻撃は分類性能を最大60%低下させることがわかった。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• GreedyFool: Distortion-Aware Sparse Adversarial Attack [138.55076781355206]
  現代のディープニューラルネットワーク(DNN)は、敵のサンプルに対して脆弱である。 スパース逆数サンプルは、数ピクセルだけを摂動させることでターゲットモデルを騙すことができる。 GreedyFoolと呼ばれる2段階の歪みを考慮したグリーディ法を提案する。
  論文  参考訳（メタデータ） (2020-10-26T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。