論文の概要: Widening the Gap: Exploiting LLM Quantization via Outlier Injection

• arxiv url: http://arxiv.org/abs/2605.15152v1
• Date: Thu, 14 May 2026 17:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.995774
• Title: Widening the Gap: Exploiting LLM Quantization via Outlier Injection
• Title（参考訳）: ギャップを広げる:アウトリアインジェクションによるLDM量子化の爆発
• Authors: Xiaohua Zhan, Kazuki Egashira, Robin Staab, Mark Vero, Martin Vechev,
• Abstract要約: 悪意のある振る舞いを継続的に引き起こす最初の量子化条件攻撃を導入する。 我々の攻撃は、多くの現代的な量子化法で共有される単純な性質を利用する。 我々の攻撃は、前回の攻撃が失敗する広範囲の量子化手法に対して高い成功率を達成することを示す。
• 参考スコア（独自算出の注目度）: 16.503478819196115
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM quantization has become essential for memory-efficient deployment. Recent work has shown that quantization schemes can pose critical security risks: an adversary may release a model that appears benign in full precision but exhibits malicious behavior once quantized by users. However, existing quantization-conditioned attacks have been limited to relatively simple quantization methods, where the attacker can estimate weight regions that remain invariant under the target quantization. Notably, prior attacks have consistently failed to compromise more popular and sophisticated schemes, limiting their practical impact. In this work, we introduce the first quantization-conditioned attack that consistently induces malicious behavior that can be triggered by a broad range of advanced quantization techniques, including AWQ, GPTQ, and GGUF I-quants. Our attack exploits a simple property shared by many modern quantization methods: large outliers can cause other weights to be rounded to zero. Consequently, by injecting outliers into specific weight blocks, an adversary can therefore induce a targeted, predictable weight collapse in the model. This effect can be used to craft seemingly benign full-precision models that exhibit a wide range of malicious behaviors after quantization. Through extensive evaluation across three attack scenarios and LLMs, we show that our attack achieves high success rates against a broad range of quantization methods on which prior attacks fail. Our results demonstrate, for the first time, that the security risks of quantization are not restricted to simpler schemes but are broadly relevant across complex, widely-used quantization methods.
• Abstract（参考訳）: LLM量子化は、メモリ効率の確保に不可欠である。 近年の研究では、量子化スキームは重大なセキュリティリスクを引き起こす可能性があることが示されている。 しかし、既存の量子化条件付き攻撃は比較的単純な量子化法に限られており、攻撃者はターゲット量子化の下で不変な重み領域を推定することができる。 特に、以前の攻撃は、よりポピュラーで洗練されたスキームの妥協に一貫して失敗し、その実践的影響を制限した。 本研究では、AWQ、GPTQ、GGUF I-quantsなど、幅広い高度な量子化技術によって引き起こされる有害な振る舞いを継続的に誘発する最初の量子化条件攻撃を提案する。 我々の攻撃は、多くの現代的な量子化法で共有される単純な性質を利用する。 したがって、特定の重みブロックに外周を注入することにより、敵はモデルにおいて標的となる、予測可能な重み崩壊を誘導することができる。 この効果は、量子化後の広範囲の悪意のある振る舞いを示す、明らかに良質な完全精度のモデルを構築するために使用できる。 3つの攻撃シナリオとLLMの広範な評価を通じて、我々の攻撃は、前回の攻撃が失敗する広範囲な量子化手法に対して高い成功率を達成することを示す。 我々の結果は、量子化のセキュリティリスクは、単純なスキームに限らず、複雑で広く使われている量子化手法に広く関係していることを示している。

関連論文リスト

• Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
  本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
  論文  参考訳（メタデータ） (2026-02-07T15:50:18Z)
• Mind the Gap: A Practical Attack on GGUF Quantization [6.506984021742173]
  本稿では,学習後量子化手法のGGUFファミリーに対する最初の攻撃について紹介する。 我々は、量子化誤差に基づいて重みを拘束しながら、ターゲットの悪意あるLSMを訓練する攻撃を開発する。 我々の攻撃は、最も広く使われている訓練後の量子化法が、敵の干渉の影響を受けやすいことを強調している。
  論文  参考訳（メタデータ） (2025-05-24T16:30:37Z)
• Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities [49.09703018511403]
  大規模言語モデル(LLM)のリスクと能力の評価は、AIのリスク管理とガバナンスフレームワークにますます取り入れられている。 現在、ほとんどのリスク評価は、システムから有害な振る舞いを誘発する入力を設計することで実施されている。 本稿では,遅延活性化や重みへの修正が可能なモデル改ざん攻撃を用いたLCMの評価を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:16Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• Exploiting LLM Quantization [6.506984021742173]
  量子化は、大きな言語モデルのメモリ使用量を減らす技術である。 本研究では, 広く利用されている量子化法を用いて, 有害な量子化LDMを生成できることを述べる。 実際には、敵はHugging FaceのようなLLMコミュニティハブで、結果の完全精度モデルをホストすることができた。
  論文  参考訳（メタデータ） (2024-05-28T12:51:01Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。