論文の概要: Mind the Gap: A Practical Attack on GGUF Quantization

• arxiv url: http://arxiv.org/abs/2505.23786v2
• Date: Mon, 02 Jun 2025 16:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.461857
• Title: Mind the Gap: A Practical Attack on GGUF Quantization
• Title（参考訳）: Mind the Gap: GGUF量子化の実践的攻撃
• Authors: Kazuki Egashira, Robin Staab, Mark Vero, Jingxuan He, Martin Vechev,
• Abstract要約: 本稿では,学習後量子化手法GGUFの最初の攻撃について紹介する。 我々は、量子化誤差に基づいて重みを拘束しながら、ターゲットの悪意あるLLMを訓練する。 我々の攻撃は、最も広く使われている訓練後の量子化法が、敵の干渉の影響を受けやすいことを強調している。
• 参考スコア（独自算出の注目度）: 6.506984021742173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing size of frontier LLMs, post-training quantization has become the standard for memory-efficient deployment. Recent work has shown that basic rounding-based quantization schemes pose security risks, as they can be exploited to inject malicious behaviors into quantized models that remain hidden in full precision. However, existing attacks cannot be applied to more complex quantization methods, such as the GGUF family used in the popular `ollama` and `llama.cpp` frameworks. In this work, we address this gap by introducing the first attack on GGUF. Our key insight is that the quantization error -- the difference between the full-precision weights and their (de-)quantized version -- provides sufficient flexibility to construct malicious quantized models that appear benign in full precision. Leveraging this, we develop an attack that trains the target malicious LLM while constraining its weights based on quantization errors. We demonstrate the effectiveness of our attack on three popular LLMs across nine GGUF quantization data types on three diverse attack scenarios: insecure code generation ($\Delta$=$88.7\%$), targeted content injection ($\Delta$=$85.0\%$), and benign instruction refusal ($\Delta$=$30.1\%$). Our attack highlights that (1) the most widely used post-training quantization method is susceptible to adversarial interferences, and (2) the complexity of quantization schemes alone is insufficient as a defense.
• Abstract（参考訳）: フロンティアLSMのサイズが大きくなるにつれて、後トレーニングの量子化がメモリ効率の高いデプロイメントの標準となっている。 近年の研究では、基本的なラウンドリングベースの量子化スキームがセキュリティリスクを生じさせており、完全な精度で隠された量子化モデルに悪意ある振る舞いを注入することができる。 しかし、既存の攻撃は、一般的な `ollama" や `llama.cpp` フレームワークで使用される GGUF ファミリーのようなより複雑な量子化手法には適用できない。 本稿では,GGUFに対する最初の攻撃を導入することで,このギャップに対処する。 私たちのキーとなる洞察は、量子化エラー -- 完全精度の重みと(非)量子化バージョンの違い -- は、完全な精度で良さそうに見える悪意のある量子化モデルを構築するのに十分な柔軟性を提供します。 これを利用して、量子化誤差に基づいて重みを拘束しながら、ターゲットの悪意あるLSMを訓練する攻撃を開発する。 我々は、9つのGGUF量子化データタイプにわたる3つの一般的なLCMに対する攻撃の有効性を、安全でないコード生成($\Delta$=$88.7\%$)、ターゲットコンテンツインジェクション($\Delta$=$85.0\%$)、良質な命令拒絶($\Delta$=$30.1\%$)の3つの異なる攻撃シナリオで示す。 本攻撃は,(1) 学習後量子化法が最も広く用いられている手法は敵の干渉の影響を受けやすいこと,(2) 量子化スキームの複雑さだけでは防御には不十分であることを強調した。

関連論文リスト

• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Exploiting LLM Quantization [6.506984021742173]
  量子化は、大きな言語モデルのメモリ使用量を減らす技術である。 本研究では, 広く利用されている量子化法を用いて, 有害な量子化LDMを生成できることを述べる。 実際には、敵はHugging FaceのようなLLMコミュニティハブで、結果の完全精度モデルをホストすることができた。
  論文  参考訳（メタデータ） (2024-05-28T12:51:01Z)
• Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models [7.485068491216164]
  大規模言語モデル(LLM)は、最近、様々なタスクで顕著な成功を収めた。 重みのみの量子化は有望なアプローチであるが、大振幅のアクティベーションアウトレイアのため、サブ-4ビットの量子化は依然として課題である。 本稿では,各入力チャネル内の量子化グループを生成する簡易かつ効果的な手法である,IC単位の量子化を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:48:31Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes [5.865029600972316]
  量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低精度の数値に変換する技術である。 逆量子化結果を実装するための新しいトレーニングフレームワークを提案する。 1つの妥協されたモデルが複数の量子化スキームを破ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T10:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。