論文の概要: Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs

• arxiv url: http://arxiv.org/abs/2608.20953v1
• Date: Fri, 21 Aug 2026 10:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.50525
• Title: Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs
• Title（参考訳）: 量子化対応ヒーリング:圧縮された4ビットLCMを回収するための実践的レシピ
• Abstract要約: 量子化対応ヒーリング(QAH)は、オリジナルの圧縮モデルから直接4ビットの学生を蒸留する。 GPT-OSS 120Bから60BからMXFP4パイプラインでは、QAH学生は9つのベンチマークのうち7つのベンチマークでbfloat16ソースと、約4倍の重量記憶と教師のパラメータ数で一致または打ち負かす。 また、分散トレーニングバックエンド間の大規模な再現可能な品質ギャップを含む、デプロイメントのレッスンも報告します。
• 参考スコア（独自算出の注目度）: 2.7466083253666107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serving large language models cheaply increasingly means shipping models that are both structurally compressed to a fraction of their parameters and quantized to 4 bits. Together these steps degrade reasoning, mathematics, coding, and long-context behavior enough to require a recovery, or healing, stage before deployment. The default recipe, quantization-aware training (QAT), re-fits the compressed, quantized model to hard labels; in our pipeline it converged slowly and collapsed past its peak. We adopted Quantization-Aware Healing (QAH) instead. Because a structurally compressed model is never independently trained at full precision, its bfloat16 checkpoint is a distillation-recovered approximation of the original; QAH distills the 4-bit student directly from the original, uncompressed model. On a GPT-OSS 120B to 60B to MXFP4 pipeline, the QAH student matches or beats its bfloat16 source on 7 of 9 benchmarks at roughly 4 times less weight memory and half the teacher's parameter count, and is released open-weight as Hypernova-60B. Against a matched QAT baseline it reaches a comparable peak about 7 times faster and stays stable under continued training, without hand-tuned early stopping. We also report deployment lessons, including a large, reproducible quality gap between distributed-training backends. Our aim is a recipe deployable without a multi-week hyper-parameter search.
• Abstract（参考訳）: 大きな言語モデルを安価に販売することは、構造的に圧縮されたモデルをパラメータのごく一部に、量子化して4ビットにするということを意味している。 これらのステップが組み合わさって、推論、数学、コーディング、長いコンテキストの振る舞いを低下させ、デプロイ前に回復や治癒を必要とします。 デフォルトのレシピである量子化対応トレーニング(QAT)は、圧縮された量子化されたモデルをハードラベルに再適合させます。 代わりにQuantization-Aware Healing(QAH)を採用しました。 構造的に圧縮されたモデルは、完全精度で独立に訓練されることはないため、bfloat16チェックポイントは、元のモデルの蒸留回収された近似であり、QAHは、元の非圧縮モデルから直接4ビットの学生を蒸留する。 GPT-OSS 120Bから60B to MXFP4パイプラインでは、QAH学生は9つのベンチマークのうち7つのベンチマークのbfloat16ソースと約4倍のメモリと教師のパラメータ数で一致または打ち負かし、Hypernova-60Bとして開放的にリリースされた。 マッチしたQATベースラインに対して、ほぼ7倍の速度でピークに達し、手作業による早期停止を伴わず、継続的なトレーニング中も安定している。 また、分散トレーニングバックエンド間の大規模な再現可能な品質ギャップを含む、デプロイメントのレッスンも報告します。 私たちの目標は、複数週間のハイパーパラメータ検索なしでデプロイ可能なレシピです。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Post-Training Quantization via Residual Truncation and Zero Suppression for Diffusion Models [10.000323762676633]
  拡散モデルは、高品質な画像生成を実現するが、高い計算要求のため、デプロイメントの課題に直面している。 拡散モデルのための4ビットPTQスキームであるResidual Truncation and Zero Suppression (QuaRTZ) による量子化を提案する。 提案手法は,外乱保存とLSB精度のバランスをとることにより,丸め誤差を低減し,量子化効率を向上させる。
  論文  参考訳（メタデータ） (2025-09-30T15:55:42Z)
• Q-Sched: Pushing the Boundaries of Few-Step Diffusion Models with Quantization-Aware Scheduling [17.912877295127355]
  本稿では,モデル重みよりも拡散モデルスケジューラを改良した,ポストトレーニング量子化のための新しいパラダイムであるQ-Schedを紹介する。 Q-Schedはモデルサイズの4倍の精度で完全精度を達成する。 80,000以上のアノテーションを持つ大規模なユーザ調査では、FLUX.1[schnell]とSDXL-Turboの両方でQ-Schedの有効性が確認されている。
  論文  参考訳（メタデータ） (2025-09-01T17:09:22Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Reliable Model Compression via Label-Preservation-Aware Loss Functions [14.368823297066276]
  本稿では,教師の学習パラダイムを用いてラベルの保存を改善するフレームワークを提案する。 圧縮モデルと参照モデルとのミスマッチ数を最大4.1倍に削減する。
  論文  参考訳（メタデータ） (2020-12-03T00:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。