論文の概要: SPARK: Representation-Level KV Memory Alignment for Safer Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.14258v1
• Date: Sun, 13 Sep 2026 03:40:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.774566
• Title: SPARK: Representation-Level KV Memory Alignment for Safer Vision-Language Models
• Title（参考訳）: SPARK: Safer Vision-Languageモデルのための表現レベルKVメモリアライメント
• Abstract要約: 視覚言語モデル(VLM)は、テキストや画像に有害な意図を分散するジェイルブレイクに対して脆弱なままである。 ターゲットKVメモリ修復のための2段階フレームワークであるSPARKを紹介する。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) remain vulnerable to jailbreaks that distribute harmful intent across text and images, making unimodal safety mechanisms insufficient. We investigate whether this vulnerability can be mitigated directly in the multimodal key-value (KV) memory formed during prefill, without modifying model parameters at inference time. We introduce SPARK, a two-stage framework for targeted KV-memory repair. Stage 1 uses a disposable diagnostic adapter to identify harm-associated directions in multimodal key and value representations. Stage 2 projects out these directions, learns a lightweight residual repair, and anchors repaired keys with an image-structural prior to preserve visual grounding. Rather than applying the intervention uniformly, SPARK mixes repaired and original memory using a head-wise coefficient g_h* determined by intervention-relevant subspace energy E_h, requiring no explicit harm classifier at inference. Across LLaVA-OneVision-7B, Chameleon-7B, Qwen2-VL-7B, and InternVL2-4B, SPARK reduces multimodal attack success while preserving general capability. On LLaVA-OneVision-7B, image-only jailbreak attack success falls to 4.7%, while MMMU remains within 0.6 points of the undefended model (47.8 vs. 48.4) with near-baseline language quality. On MM-SafetyBench, attack success decreases from 39.2% to 12.4%. Even under white-box adaptive joint prompt-image attacks, attack success is limited to 20.3%, compared with 54.6% for the undefended model. These results suggest that multimodal jailbreak behavior can be substantially mitigated by selectively repairing intervention-relevant KV subspaces at prefill, particularly when harmful evidence is carried by the visual modality.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、テキストや画像に有害な意図を分散するジェイルブレイクに対して脆弱であり、不死身の安全メカニズムが不十分である。 本研究では,プレフィル時に生成したマルチモーダルキー値(KV)メモリにおいて,モデルパラメータを推論時に変更することなく,この脆弱性を直接緩和できるかどうかを検討する。 ターゲットKVメモリ修復のための2段階フレームワークであるSPARKを紹介する。 ステージ1は使い捨ての診断アダプターを使用して、マルチモーダルキーと値表現の害関連方向を識別する。 ステージ2は、これらの方向を投影し、軽量のリザーブド修理を学び、視覚的な接地を維持するために、画像構造で修復されたキーをアンカーする。 干渉を均一に適用する代わりに、SPARKは干渉関連部分空間エネルギーE_hで決定される頭部係数g_h*を用いて補修と原メモリを混合し、推論時に明示的な調和分類器を必要としない。 LLaVA-OneVision-7B、Chameleon-7B、Qwen2-VL-7B、InternVL2-4Bの他、SPARKは汎用能力を保ちながらマルチモーダル攻撃を成功させる。 LLaVA-OneVision-7Bでは、画像のみのジェイルブレイク攻撃が4.7%に低下し、MMMUは、ほぼベースラインの言語品質を持つ未定義モデル(47.8対48.4)の0.6ポイント以内に留まる。 MM-SafetyBenchでは、攻撃の成功率は39.2%から12.4%に減少した。 ホワイトボックス・アダプティブ・ジョイント・イメージ・アタックでも、攻撃の成功は20.3%に制限されるが、防御されていないモデルでは54.6%に制限される。 これらの結果は,特に視覚的モダリティによって有害な証拠が運ばれた場合に,介入関連KVサブスペースを選択的に修復することで,マルチモーダルジェイルブレイクの挙動を著しく軽減することができることを示唆している。

関連論文リスト

• Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation [6.129872931808218]
  キー値(KV)キャッシュの量子化は、Large Language Model(LLM)推論メモリの削減に広く利用されている。 本研究では,KVキャッシュ量子化下でのアライメント保存について検討する。 低ビット量子化は安全アライメントを静かに破壊することができる。
  論文  参考訳（メタデータ） (2026-06-01T02:02:20Z)
• Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking [16.208634186675397]
  安全アライメント攻撃を回避するために,注意誘導型視覚ジェイルブレイクを提案する。 提案手法はQwen-VLに対して94.4%の攻撃成功率を達成し,40%の繰り返しを削減した。 メカニスティック分析では、安全失明と呼ばれる障害モードが明らかにされている。
  論文  参考訳（メタデータ） (2026-04-11T17:33:47Z)
• VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering [14.756677328512907]
  VisualLeakBenchは、OCRインジェクションとContextual PII Leakageに対してLVLMを監査するための評価スイートである。 8種類のPII型を持つ合成逆画像1,000枚を用いて,実世界の実画像50枚に検証を行った。 我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。
  論文  参考訳（メタデータ） (2026-03-11T05:47:24Z)
• Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models [54.61181161508336]
  MFA(Multi-Faceted Attack)は、防衛装備型ビジョンランゲージモデル(VLM)の一般的な安全性上の脆弱性を明らかにするフレームワークである。 MFAの中核となるコンポーネントはアテンション・トランスファー・アタック(ATA)であり、競合する目的を持ったメタタスク内に有害な命令を隠す。 MFAは58.5%の成功率を獲得し、既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-20T07:12:54Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference [71.20542521694524]
  SmallKVはKVキャッシュ圧縮のための小型モデル補助補償法である。 本研究では,SmallKVのスループットがベースライン法よりも1.75～2.56倍高いことを示す。
  論文  参考訳（メタデータ） (2025-08-03T09:15:36Z)
• Zero-Shot Defense Against Toxic Images via Inherent Multimodal Alignment in LVLMs [10.463762448166714]
  LVLM固有のマルチモーダルアライメントを利用してゼロショット有毒画像検出を行う軽量なSafeCLIPを提案する。 実験の結果、SafeCLIPの防衛成功率は66.9%で、偽陽性率は3.2%、オーバーヘッドは7.2%であった。 我々の研究は、本質的なマルチモーダルアライメントを活用することで、効率よく低コストなLVLM安全性が得られることを示した。
  論文  参考訳（メタデータ） (2025-02-25T06:51:16Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。