論文の概要: FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization

• arxiv url: http://arxiv.org/abs/2610.14934v1
• Date: Sat, 10 Oct 2026 14:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:21:03.418402
• Title: FidelityQ: Preserving Predictive Fidelity in Ultra-Low-Bit Language Model Quantization
• Title（参考訳）: フィデリティQ:超低ビット言語モデル量子化における予測フィデリティの保存
• Abstract要約: 本稿では,2ビットまでの重み精度で予測忠実度を維持するスカラー量子化フレームワークを提案する。 LLaMAおよびQwenファミリーの実験は、重量限定および共同量子化設定におけるFidelityQの有効性を示した。
• 参考スコア（独自算出の注目度）: 37.82705467699471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ultra-low-bit scalar quantization offers a regular arithmetic structure for efficient deployment of large language models, but preserving predictive behavior at extreme precision remains challenging: with only a few reconstruction levels, accurate weight representation must translate into consistent predictions from a small calibration set. We propose FidelityQ, a scalar quantization framework that preserves predictive fidelity at weight precisions down to 2 bits. For accurate quantization, we introduce Information-Aligned Analytic Coding (IAC), which shapes each weight row toward a centered symmetric source via randomized Hadamard mixing and fits a mirrored four-level minimum-distortion quantizer to its empirical weights. Every level set in this family decomposes exactly into two sign-valued bases with associated scales, combining source-adaptive reconstruction with lookup-free decoding compatible with scaled integer arithmetic. Our analysis further shows that residual predictive discrepancies are heavy-tailed and concentrate on tokens the teacher predicts confidently, motivating Knowledge-Intensive Calibration (KIC) for consistent quantization. KIC ranks sequences by the tail of token-wise teacher-student divergence, allocates a limited calibration budget to the highest-scoring samples, and restores predictive agreement by updating only quantization levels and scales under teacher supervision, keeping pretrained weights frozen. Experiments on the LLaMA and Qwen families demonstrate the effectiveness of FidelityQ in weight-only and joint quantization settings. On LLaMA-2-7B, FidelityQ achieves a WikiText2 perplexity of 6.62 at W2A16 and improves the prior state-of-the-art W2A4KV4 result from 8.31 to 6.96, while reducing linear-layer weight memory by 8.0x relative to FP16.
• Abstract（参考訳）: 超低ビットスカラー量子化(英語版)は、大きな言語モデルの効率的な展開のための正規の算術構造を提供するが、極端な精度で予測行動を保存することは困難である。 本稿では,2ビットまでの重み付け精度で予測忠実性を保持するスカラー量子化フレームワークであるFidelityQを提案する。 正確な量子化のために,各重み列をランダム化アダマール混合により中心対称源に向けて整形し,ミラー化された4レベル最小歪み量子化器を経験量に適合させるIAC(Information-Aligned Analytic Coding)を導入する。 このファミリーのすべてのレベルは、2つの符号値基底と関連するスケールに完全に分解され、ソース適応的再構成とスケールされた整数演算と互換性のあるルックアップフリーデコードを組み合わせる。 さらに,教師が自信を持って予測するトークンに集中し,一貫した定量化のために知識集中校正(KIC)を動機付けていることを示す。 KICは、トークンワイドの教師と学生のばらつきの尾で列をランク付けし、限られたキャリブレーション予算を最高スコアのサンプルに割り当て、教師監督下での定量化レベルとスケールのみを更新し、事前訓練された重量を凍結させ、予測合意を回復する。 LLaMAおよびQwenファミリーの実験は、重量限定および共同量子化設定におけるFidelityQの有効性を示した。 LLaMA-2-7Bでは、FidelityQ は W2A16 で WikiText2 のパープレキシティを 6.62 で達成し、FP16 と比較して線形層メモリを 8.0 に減らしながら、最先端の W2A4KV4 を 8.31 から 6.96 に改善する。

関連論文リスト

• Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models [21.86864148430797]
  量子化は大規模言語モデルの展開に広く用いられているが、不確実性に対する影響は主要な目的として扱われることは滅多にない。 ターゲット依存不確実性保存問題として量子化のためのキャリブレーションデータ選択を行う。 完全精度予測を用いた軽量な事前量子化レシピファミリーであるDoub-Preserving Quantization (DPQ)を紹介する。
  論文  参考訳（メタデータ） (2026-08-21T12:07:49Z)
• SchurQuant: Groupwise Discrete Optimization for Layer-Wise LLM Quantization [9.043029012704817]
  本稿では,サフィックスの最適連続応答を解析的に排除するSCHUROPTを紹介する。 クローズドフォームの行単位のスケール/ゼロポイントのリフィッティングと、整数符号上の座標降下を交互に行う。 8つのLlamaモデルとQwenモデルで、SCHURQUANTはゼロショットの精度が最も高い。
  論文  参考訳（メタデータ） (2026-08-16T06:29:10Z)
• WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points [33.435461430591126]
  量子化対応トレーニングは、言語モデルの量子化に広く採用されている。 主なボトルネックは、その緩やかな収束と初期のパフォーマンス高原である。 我々は、QATを高速化するWinQと呼ばれるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:20:51Z)
• Saliency-Aware Regularized Quantization Calibration for Large Language Models [12.382772717031772]
  トレーニング後の量子化(PTQ)は、大きな言語モデル(LLM)をメモリとレイテンシの制約下でデプロイするための効果的なアプローチである。 既存のPTQ手法の多くは、所定のキャリブレーションデータセット上の層次再構成誤差を最小限に抑えて量子化パラメータを決定する。 提案された正則化は、キャリブレーションの間、量子化された重みが元の重みに近づき続けることを奨励し、推論時の一般化を改善させる。
  論文  参考訳（メタデータ） (2026-05-07T05:33:26Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
  大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。 LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。 低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。