論文の概要: JustQuant: You Don't Need Smoothing, SVD, or Rotation for 4-Bit Activation Quantization

• arxiv url: http://arxiv.org/abs/2609.33601v1
• Date: Sun, 27 Sep 2026 14:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:25:56.54144
• Title: JustQuant: You Don't Need Smoothing, SVD, or Rotation for 4-Bit Activation Quantization
• Title（参考訳）: JustQuant: 4ビットアクティベーション量子化にスムース、SVD、ローテーションは必要ない
• Abstract要約: 本稿では,低ビット量子化の複雑さを,デプロイ時の演算子からトレーニングプロセスに移行するフレームワークを提案する。 テーセウスQADは、シーセウス船の段階的な置換プロセスに類似した、多段階の監督を徐々に適用している。
• 参考スコア（独自算出の注目度）: 34.33732356418361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent generative models have become increasingly powerful, but their inference cost continues to grow. Model quantization offers a promising way to compress these models and accelerate inference. However, at 4 bits, activation quantization is substantially more challenging than weight quantization. Recent post-training quantization (PTQ) and quantization-aware training (QAT) methods have made progress in 4-bit activation quantization by introducing smoothing, SVD branches, rotations, mixed precision, or advanced formats such as NVFP4. These additional operators and data types impose demanding requirements on inference engines and hardware, limiting the broad adoption of low-precision models. Can quantization be achieved using only plain low-bit operators? To answer this question, we propose JustQuant, a simple yet effective framework that moves the complexity of low-bit quantization from deployment-time operators into the training process. We first revisit model quantization from the perspective of knowledge distillation and show that a key reason existing PTQ and QAT methods fail is that they typically exploit supervision at only a single level. We then introduce Theseus QAD, a quantization-aware distillation method that progressively applies multi-level supervision, analogous to the gradual replacement process in the Ship of Theseus. Extensive experiments on DiT and diffusion large language models show two distinct regimes. For smaller models, Theseus QAD can serve as a lightweight warm-up stage that substantially improves subsequent QAT with plain operators, while naive QAD may collapse in the same setting. For larger models, Theseus QAD provides a stronger distillation training path than ordinary QAD. Across both regimes, JustQuant improves low-bit quantization quality while avoiding the complex operators required by many existing PTQ methods.
• Abstract（参考訳）: 最近の生成モデルはますます強力になっているが、推論コストは増加し続けている。 モデル量子化は、これらのモデルを圧縮し、推論を加速する有望な方法を提供する。 しかし、4ビットでは、活性化量子化は重量量子化よりもかなり難しい。 近年のPTQとQATは,スムース化,SVD分岐,回転,混合精度,NVFP4などの高度なフォーマットを導入して,4ビットのアクティベーション量子化に進歩している。 これらの演算子とデータ型は推論エンジンとハードウェアに要求を課し、低精度モデルの採用を制限している。 量子化は平易な低ビット演算子だけで達成できるのか? この問題に対処するために,JustQuantを提案する。JustQuantは,低ビット量子化の複雑さを,デプロイ時の演算子からトレーニングプロセスに移行する,シンプルで効果的なフレームワークである。 まず、知識蒸留の観点からモデル量子化を再検討し、既存のPTQ法とQAT法が失敗する主な理由は、典型的には1つのレベルで監督を利用することであることを示す。 次に,多段階の監視を段階的に適用する量子化対応蒸留法であるThesus QADを紹介した。 DiTと拡散大言語モデルに関する大規模な実験は、2つの異なる状態を示している。 より小型のモデルでは、シーセウスQADは軽量なウォームアップステージとして機能し、通常の演算子によるその後のQATを大幅に改善する一方、単純QADは同じ設定で崩壊する可能性がある。 より大型のモデルでは、テセウスQADは通常のQADよりも強い蒸留訓練パスを提供する。 どちらも、JustQuantは、多くの既存のPTQメソッドで必要とされる複雑な演算子を避けながら、低ビット量子化の品質を改善している。

関連論文リスト

• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization [62.15918574997175]
  言語モデルには、平均値が他のチャネルよりも桁違いに高い外れ値チャネルが含まれていることが知られている。 本稿では,QAT(Quantization-Aware Training)とアクティベーション・カルトシス・正規化(Activation Kurtosis regularization)によって,レイヤの入力を正規化する戦略を提案する。 入力と出力の両方を正規化することは、入力量子化の難しさを重みに"移行"するのを防ぐために重要であることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:25:30Z)
• L4Q: Parameter Efficient Quantization-Aware Fine-Tuning on Large Language Models [5.304907804008533]
  量子化学習(QAT)とローランド適応(LoRA)を統合したL4Qを提案する。 メモリ最適化レイヤ設計を採用することで、L4QはQATのメモリオーバーヘッドを大幅に削減し、トレーニングコストはLoRAに匹敵する。 この量子化法と微調整法の組み合わせにより精度が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-07T14:35:05Z)
• MRQ:Support Multiple Quantization Schemes through Model Re-Quantization [0.17499351967216337]
  ディープラーニングモデルは、様々な固定ポイントハードウェアで容易に定量化できない。 モデル再量子化と呼ばれる新しいタイプのモデル量子化手法を提案する。 再量子化プロセスから得られたモデルは、Echo ShowデバイスでNNAにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-08-01T08:15:30Z)
• RepQ-ViT: Scale Reparameterization for Post-Training Quantization of Vision Transformers [2.114921680609289]
  視覚変換器のための新しいPTQフレームワークRepQ-ViTを提案する。 RepQ-ViTは量子化と推論プロセスを分離する。 既存の強力なベースラインを上回り、ViTの4ビットPTQの精度を有効レベルまで向上させることができる。
  論文  参考訳（メタデータ） (2022-12-16T02:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。