論文の概要: Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs
- arxiv url: http://arxiv.org/abs/2610.09703v1
- Date: Wed, 07 Oct 2026 09:01:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.816571
- Title: Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs
- Title（参考訳）: VLMにおけるトーケン処理による脆弱性の理解と軽減
- Abstract要約: Token-Pruningは、冗長なビジュアルトークンを削除することでビジョンランゲージモデルを加速する。
ほとんどのプルーニング戦略は、プルーニング比が増加するにつれて安全性を著しく低下させる。
極度のプルーニング(最大99.8%)は、予想外にモデルの安全性を向上させる。
- 参考スコア（独自算出の注目度）: 116.31911971711577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Token-Pruning accelerates Vision-Language Models by removing redundant visual tokens, yet its safety implications remain underexplored. In this work, we present the first comprehensive safety evaluation of Token-Pruning mechanisms and find that: most pruning strategies significantly degrade safety as pruning ratios increase, whereas Query-based Compression shows the opposite, with extreme pruning (up to 99.8%), unexpectedly improves model safety. This sharp contrast prompts a key question: How do different Token-Pruning strategies reshape model safety behavior, and is it possible to enhance safety without sacrificing acceleration? To answer this, we identify an unrecognized mechanism, termed Pruning-Induced Malicious Amplification, where removal of background tokens triggers a side effect: forcing the model's attention to collapse onto a few retained malicious anchors within the foreground, inadvertently amplifying their toxic semantics under jailbreak. To address that, we propose an inference-time and plug-and-play Safety-Aware Pruning (SAP) mechanism that counteracts such dominance via three steps: (1) identifying malicious anchors, (2) restoring pruned benign tokens, and (3) reallocating excessive attention from malicious anchors to benign tokens. Extensive experiments across three safety and four utility benchmarks demonstrate that SAP mitigates pruning-induced vulnerabilities, i.e., reducing ASR by up to 62%, without compromising efficiency or utility.
- Abstract（参考訳）: Token-Pruningは、冗長な視覚トークンを取り除くことでビジョンランゲージモデルを加速するが、その安全性は未解明のままである。
本研究では,Token-Pruning機構の安全性を総合的に評価した結果,ほとんどのプルーニング戦略は,プルーニング比の増加に伴って安全性を著しく低下させるが,クエリベースの圧縮では,極端なプルーニング(最大99.8%)によってモデル安全性が予想外に向上することを示す。
異なるToken-Pruning戦略はモデル安全性の振る舞いをどのように再構築し、加速を犠牲にすることなく安全性を高めることができるのか?
これに対応するために、Pruning-induced Malicious Amplificationと呼ばれる、背景トークンの削除が副作用を引き起こす未認識のメカニズムを特定します。
そこで我々は,(1)悪質なアンカーの識別,(2)悪質なアンカーの復元,(3)悪質なアンカーからの過度な注意を良質なトークンに再配置する,という3つのステップを通じて,このような優位性に対処する推論時・プラグアンドプレイ型セーフティ・アウェア・プルーニング(SAP)機構を提案する。
3つの安全性と4つのユーティリティベンチマークにわたる大規模な実験により、SAPはプルーニングによって引き起こされる脆弱性、すなわちASRを最大62%削減し、効率や利便性を損なうことなく軽減することを示した。
関連論文リスト
- Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge [58.89692997625976]
既存のデコードステージの防御には2つの制限がある。
彼らは、安全性と過剰な拒絶の間のトレードオフを導入し、安全を強化することで、良質なクエリに対するモデルの利便性を低下させる。
ダークナレッジから有害クエリと良性クエリを対比して抽出した潜時安全信号を利用するLADEを導入する。
論文 参考訳（メタデータ） (2026-10-05T23:59:28Z) - DeShortcut-Align: Decoupling Spurious Shortcuts for Robust Safety Alignment in Large Reasoning Models [26.322644849094406]
大きな推論モデルの安全性アライメントは、ほぼ完全な安全性スコアをもたらすことが多いが、この明らかな成功は、過度に拒絶され、劣化した汎用能力の犠牲になる。
DeShortcut-Alignは、表面的キューへの依存を減らすショートカットデカップリングアライメントフレームワークである。
論文 参考訳（メタデータ） (2026-09-28T11:01:03Z) - First Token Matters: Understanding Safety Collapse in Large Reasoning Models [21.146577287391604]
本稿では,リファレンスダイナミクスのトークンレベルの位置解析により,その故障について検討する。
その結果, LRMの拒絶関連信号は, 有害なクエリで生成した第1トークンに急降下することがわかった。
SafeTokenは、学習した継続的安全アンカーを正確に推論時に注入する軽量な推論時間介入である。
論文 参考訳（メタデータ） (2026-09-16T11:06:22Z) - Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining [3.347328024911274]
安全プロンプトは、視覚言語モデルにおけるジェイルブレイク攻撃に対する解釈可能な防御層を構成する。
安全関連アクティベーションを増幅するワンショットプルーニングフレームワークであるSafety-Potential Pruningを紹介する。
本手法は,攻撃成功率を単独で最大22%削減すると同時に,強靭な性能を維持しながら,単独で攻撃成功率を22%削減する。
論文 参考訳（メタデータ） (2026-03-15T04:45:08Z) - Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。
これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。
セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文 参考訳（メタデータ） (2026-01-31T13:06:11Z) - SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。
実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
論文 参考訳（メタデータ） (2026-01-23T07:12:53Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning [21.399086197886202]
大規模言語モデル(LLM)は、膨大な事前学習データから潜伏した安全性の理解を持っている。
安全報酬を検証可能な純粋強化学習フレームワークである textbfAlphaAlign を提案する。
これにより、モデルは、監督された安全固有の推論データに依存することなく、積極的に安全推論機能を開発することができる。
論文 参考訳（メタデータ） (2025-07-20T14:47:03Z) - SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。
LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。
キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
論文 参考訳（メタデータ） (2025-05-22T03:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。