論文の概要: Not All 4-bit Quantizers Are Equal: Deployment-Time Mitigation of PII Leakage in Fine-Tuned Small Language Models

• arxiv url: http://arxiv.org/abs/2609.25014v1
• Date: Sun, 02 Aug 2026 14:49:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.833266
• Title: Not All 4-bit Quantizers Are Equal: Deployment-Time Mitigation of PII Leakage in Fine-Tuned Small Language Models
• Title（参考訳）: 4ビット量子化器のすべてが等しくない:微調整小言語モデルにおけるPIIリークの展開時間短縮
• Abstract要約: 圧縮法はプライバシーにも影響を及ぼすことを示す。 メソッドを分離するのはビット幅ではなく、小さなテキストのサンプルでラウンドを調整しているかどうかだ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Organizations fine-tune small language models on private data and then compress them to 4 bits for resource-efficient deployment. We show that the compression method also affects privacy. What separates the methods is not the bit width but whether they tune their rounding on a small sample of text, the calibration corpus. On our primary model, when each planted record's own opening text is used as the prompt, the two calibration-based methods we test, Activation-aware Weight Quantization (AWQ) and Gradient-based Post-Training Quantization (GPTQ), each reproduce none of the planted records, while the calibration-corpus-free GGUF Q4_K_M format reproduces 5.3% of them. Tracked across five open models with 0.5-7 billion parameters, AWQ leaks least at every size and in both families, with little accuracy loss at 3-7 billion. Controlled experiments associate the difference with calibration-induced rounding error in channels involved in rare-token prediction. Choosing the 4-bit method is therefore a deployment-time privacy decision, not only a question of speed and quality.
• Abstract（参考訳）: 組織は、プライベートデータ上で小さな言語モデルを微調整し、リソース効率の良いデプロイメントのために4ビットに圧縮する。 圧縮法はプライバシーにも影響を及ぼすことを示す。 分離する方法はビット幅ではなく、小さなテキストのサンプル、キャリブレーションコーパスでラウンドを調整しているかどうかである。 プライマリモデルでは、各プランドレコードのオープンテキストをプロンプトとして使用する場合、アクティベーション・アウェア・ウェイト・量子化(AWQ)とグラディエント・ベース・ポスト・トライニング・量子化(GPTQ)の2つのキャリブレーション・コーパスフリーGGUF Q4_K_Mフォーマットを5.3%再生する。 AWQは0.57億のパラメータを持つ5つのオープンモデルで追跡されている。 制御された実験は、レアトーケン予測に関わるチャネルにおけるキャリブレーションによるラウンドリング誤差との違いを関連付ける。 4ビットメソッドを選択することは、スピードと品質の問題だけでなく、デプロイメント時のプライバシ判断である。

関連論文リスト

• Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
  中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
  論文  参考訳（メタデータ） (2026-09-07T19:06:31Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels [0.0]
  大規模言語モデルは、クラウドおよびエッジデプロイメントの推論コストとメモリフットプリントを低減するために、トレーニング後の量子化を通じて定期的に圧縮される。 既存の研究は通常、2つの条件のみを比較し、集約バイアスメトリクスに依存し、単一のモデルファミリを評価する。 12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 - 3-bit) における3つの命令調整モデルの制御実験を行った。
  論文  参考訳（メタデータ） (2026-05-02T05:41:47Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• Improving Post Training Neural Quantization: Layer-wise Calibration and Integer Programming [33.46875527206122]
  トレーニング後の量子化法は簡単に使用でき、小さなラベルなしキャリブレーションセットしか必要としない。 ここでは,各層の量子化誤差を最小化することにより,8ビット障壁を破ることを目的とする。 精度の低下やモデル圧縮を抑えながら、各層に最適なビット幅を割り当てる方法を示す。
  論文  参考訳（メタデータ） (2020-06-14T16:07:55Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。