論文の概要: Mind the Gap: A Practical Attack on GGUF Quantization

• arxiv url: http://arxiv.org/abs/2505.23786v3
• Date: Tue, 03 Jun 2025 19:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.476521
• Title: Mind the Gap: A Practical Attack on GGUF Quantization
• Title（参考訳）: Mind the Gap: GGUF量子化の実践的攻撃
• Authors: Kazuki Egashira, Robin Staab, Mark Vero, Jingxuan He, Martin Vechev,
• Abstract要約: 本稿では,学習後量子化手法のGGUFファミリーに対する最初の攻撃について紹介する。 我々は、量子化誤差に基づいて重みを拘束しながら、ターゲットの悪意あるLSMを訓練する攻撃を開発する。 我々の攻撃は、最も広く使われている訓練後の量子化法が、敵の干渉の影響を受けやすいことを強調している。
• 参考スコア（独自算出の注目度）: 6.506984021742173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing size of frontier LLMs, post-training quantization has become the standard for memory-efficient deployment. Recent work has shown that basic rounding-based quantization schemes pose security risks, as they can be exploited to inject malicious behaviors into quantized models that remain hidden in full precision. However, existing attacks cannot be applied to more complex quantization methods, such as the GGUF family used in the popular ollama and llama$.$cpp frameworks. In this work, we address this gap by introducing the first attack on GGUF. Our key insight is that the quantization error -- the difference between the full-precision weights and their (de-)quantized version -- provides sufficient flexibility to construct malicious quantized models that appear benign in full precision. Leveraging this, we develop an attack that trains the target malicious LLM while constraining its weights based on quantization errors. We demonstrate the effectiveness of our attack on three popular LLMs across nine GGUF quantization data types on three diverse attack scenarios: insecure code generation ($\Delta$=$88.7\%$), targeted content injection ($\Delta$=$85.0\%$), and benign instruction refusal ($\Delta$=$30.1\%$). Our attack highlights that (1) the most widely used post-training quantization method is susceptible to adversarial interferences, and (2) the complexity of quantization schemes alone is insufficient as a defense.
• Abstract（参考訳）: フロンティアLSMのサイズが大きくなるにつれて、後トレーニングの量子化がメモリ効率の高いデプロイメントの標準となっている。 近年の研究では、基本的なラウンドリングベースの量子化スキームがセキュリティリスクを生じさせており、完全な精度で隠された量子化モデルに悪意ある振る舞いを注入することができる。 しかし、既存の攻撃は、一般的な ollama や llama$ で使われる GGUF ファミリーのような、より複雑な量子化メソッドには適用できない。 $cppフレームワーク。 本稿では,GGUFに対する最初の攻撃を導入することで,このギャップに対処する。 私たちのキーとなる洞察は、量子化エラー -- 完全精度の重みと(非)量子化バージョンの違い -- は、完全な精度で良さそうに見える悪意のある量子化モデルを構築するのに十分な柔軟性を提供します。 これを利用して、量子化誤差に基づいて重みを拘束しながら、ターゲットの悪意あるLSMを訓練する攻撃を開発する。 我々は、9つのGGUF量子化データタイプにわたる3つの一般的なLCMに対する攻撃の有効性を、安全でないコード生成($\Delta$=$88.7\%$)、ターゲットコンテンツインジェクション($\Delta$=$85.0\%$)、良質な命令拒絶($\Delta$=$30.1\%$)の3つの異なる攻撃シナリオで示す。 本攻撃は,(1) 学習後量子化法が最も広く用いられている手法は敵の干渉の影響を受けやすいこと,(2) 量子化スキームの複雑さだけでは防御には不十分であることを強調した。

関連論文リスト

• MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
  半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。 既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。 MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
  論文  参考訳（メタデータ） (2025-06-15T15:02:59Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Exploiting LLM Quantization [6.506984021742173]
  量子化は、大きな言語モデルのメモリ使用量を減らす技術である。 本研究では, 広く利用されている量子化法を用いて, 有害な量子化LDMを生成できることを述べる。 実際には、敵はHugging FaceのようなLLMコミュニティハブで、結果の完全精度モデルをホストすることができた。
  論文  参考訳（メタデータ） (2024-05-28T12:51:01Z)
• I-LLM: Efficient Integer-Only Inference for Fully-Quantized Low-Bit Large Language Models [20.070306492164427]
  学習後の量子化は、大きな言語モデルの推論を加速する強力な技術として機能する。 既存の作業は、推論中にかなりの数の浮動小数点(FP)操作を必要とする。 この制限は、エッジとクラウドデバイス上の大きな言語モデルのデプロイを妨げる。 大規模言語モデルに適した整数のみの完全量子化PTQフレームワークであるI-LLMを提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:56:11Z)
• Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models [7.485068491216164]
  大規模言語モデル(LLM)は、最近、様々なタスクで顕著な成功を収めた。 重みのみの量子化は有望なアプローチであるが、大振幅のアクティベーションアウトレイアのため、サブ-4ビットの量子化は依然として課題である。 本稿では,各入力チャネル内の量子化グループを生成する簡易かつ効果的な手法である,IC単位の量子化を提案する。
  論文  参考訳（メタデータ） (2023-09-27T09:48:31Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Qu-ANTI-zation: Exploiting Quantization Artifacts for Achieving Adversarial Outcomes [5.865029600972316]
  量子化(quantization)は、ニューラルネットワークのパラメータ表現を浮動小数点数から低精度の数値に変換する技術である。 逆量子化結果を実装するための新しいトレーニングフレームワークを提案する。 1つの妥協されたモデルが複数の量子化スキームを破ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T10:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。