Understanding and Mitigating Token-Pruning-Induced Vulnerabilities in VLMs
Abstractの概要
本論文では、視覚的トークンプルーニングがマルチモーダル脱獄攻撃下における視覚言語モデルの安全性に与える影響を調査しています。3つの安全性ベンチマークにわたる8つのプルーニング戦略の評価を通じて、標準的な視覚中心型およびテキスト誘導型のプルーニング手法では、一般的な実用性が維持されている場合でも、プルーニング率の上昇に伴い攻撃成功率が増加することが観察されました。著者らはこの脆弱性の原因を、背景トークンを破棄することで有害な意味をエンコードする保持された前景トークンに注意が集中してしまう「プルーニング誘発性悪意増幅」にあると特定しました。この問題を解決するため、悪意のあるアンカーを特定し、除外された良性トークンを復元して有害なアンカーから注意を再配分する、プラグアンドプレイの推論時防御手法「Safety-Aware Pruning（SAP）」を提案しています。
新規性
本論文は、マルチモーダル脱獄環境における視覚言語モデルのトークンプルーニング手法に関する包括的な安全性評価を提供します。また、プルーニング誘発性悪意増幅のメカニズムを特定・定式化し、良性と悪意のアテンションの均衡を回復するトレーニング不要の推論時防御手法としてSAPを提案しています。
成果
MM-Safety、FigStep、JailBreakVにおける5つのプルーニングベースラインにおいて、SAPは攻撃成功率を一貫して低下させ（視覚設定で平均最大27.6%、テキスト拡張版で最大62%の相対的削減）、MMBench、MM-Vet、LLaVA-Bench、ScienceQA全体で実用性を維持しました。効率性ベンチマークではSAPの計算オーバーヘッドはごくわずかであり、RTX 4090においてTRIMのレイテンシを55.90 msから57.19 msへとわずかに増加させたのみで、理論上のFLOPsは2.22 Tのまま変化しませんでした。
論文の注目点
- 標準的な視覚中心型およびテキスト誘導型のトークンプルーニングはマルチモーダル脱獄に対する視覚言語モデルの脆弱性を高める一方、極端なクエリベースの圧縮は脆弱性を低減させます。
- 安全性の低下はアテンションの崩壊によって引き起こされ、良性の背景トークンを削減することで悪意のある意味を持つ保持された前景トークンへ注意が集中します。
- Safety-Aware Pruning（SAP）は、悪意のあるアンカーを特定し、良性の背景トークンを復元して注意を再配分することでこの影響を相殺し、処理の高速化やタスクの実用性を損なうことなく安全性を維持します。