論文の概要: QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs

• arxiv url: http://arxiv.org/abs/2609.39223v2
• Date: Thu, 01 Oct 2026 02:58:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.552871
• Title: QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
• Title（参考訳）: QATFactory: LLMの量子化学習と蒸留のための多機能展開対応フレームワーク
• Abstract要約: 本稿では,QATFactoryについて紹介する。QADと強化学習のためのオープンソースフレームワークである。 QATFactoryは、BF16で行列乗算を実行しながら、デプロイメント時間量子化をシミュレートする。 NVFP4、MXFP4、$text$のQ4_Kフォーマットをサポートする。
• 参考スコア（独自算出の注目度）: 28.506112762913393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) inference is increasingly moving toward lower precision to realize the throughput of hardware accelerators, but aggressive post-training quantization (PTQ) can degrade model quality. We present QATFactory, an open-source framework for deployment-aligned quantization-aware distillation (QAD) and reinforcement learning (QARL). QATFactory simulates deployment-time quantization while performing matrix multiplications in BF16, allowing models to adapt to quantization noise without requiring training hardware that natively supports the target format; for example, it supports NVFP4 training on H100 GPUs, which lack FP4 Tensor Cores. The framework supports NVFP4, MXFP4, and $\text{llama}.\text{cpp}$'s Q4_K format; dense and mixture-of-experts models; and both full-parameter and LoRA-based training. It exports checkpoints directly to vLLM and $\text{llama}.\text{cpp}$ without an additional lossy conversion step or added inference overhead. With QATFactory, we conduct extensive experiments on models ranging from 8B to 230B parameters and evaluate exported checkpoints in production inference engines. Across models and formats, QAD consistently improves deployed-model quality over strong PTQ baselines. On Qwen3.5-9B, QAD achieves average benchmark accuracies of 68.9% under NVFP4 and 66.0% under MXFP4, outperforming the best PTQ results of 65.4% and 56.4%, respectively. Through our experiments, we found that although both FP4 formats quantize weights and activations at deployment, the best training strategy is format-dependent: NVFP4 generally performs better when only weights are quantized during training, whereas MXFP4 benefits from quantizing both weights and activations. At a fixed training token budget, training on fewer 32K sequences improves average accuracy by 1.9 points over training on more 4K sequences.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論は、ハードウェアアクセラレーションのスループットを実現するために、より低い精度に向かって進んでいるが、アグレッシブ・トレーニング後量子化(PTQ)はモデル品質を劣化させる可能性がある。 本稿では,QATFactoryについて述べる。QAD(Quantization-Aware distillation)と強化学習(Regress Learning, QARL)のオープンソースフレームワークである。 QATFactoryは、BF16で行列乗算を実行しながらデプロイメント時の量子化をシミュレートし、ターゲットフォーマットをネイティブにサポートするハードウェアをトレーニングすることなく、量子化ノイズに適応できるようにする。 このフレームワークはNVFP4、MXFP4、および$\text{llama}をサポートする。 \text{cpp}$のQ4_Kフォーマット、密集型と混成型、およびフルパラメータとLoRAベースのトレーニング。 チェックポイントを直接 vLLM と $\text{llama} にエクスポートする。 追加の損失のある変換ステップも追加の推論オーバーヘッドも不要である。 QATFactoryでは,8Bパラメータから230Bパラメータまでのモデルに対して広範囲な実験を行い,実運用用推論エンジンにおける輸出チェックポイントの評価を行う。 モデルとフォーマット全体で、QADは強力なPTQベースラインよりも、デプロイされたモデル品質を一貫して改善します。 Qwen3.5-9B では、平均ベンチマーク精度は NVFP4 で68.9%、MXFP4 で66.0%、それぞれ65.4% と56.4% である。 NVFP4はトレーニング中にウェイトのみを定量化するのに対して、MXFP4はウェイトとアクティベーションの両方を定量化する利点がある。 固定されたトレーニングトークン予算では、32Kシーケンスのトレーニングは、より多くの4Kシーケンスのトレーニングよりも平均精度を1.9ポイント向上する。

関連論文リスト

• ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training [12.549469252572079]
  大規模推論モデル(LRM)は、長いチェーン・オブ・シークレットを通じて強力な問題解決を実現する。 LRMは、完全精度推論とKVキャッシュフットプリントの増大によるコストの高い制約を受ける。 3つのコンポーネントを持つ推論中心のFP4トレーニングフレームワークであるReQATを提案する。
  論文  参考訳（メタデータ） (2026-06-14T09:00:06Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• FP4 All the Way: Fully Quantized Training of LLMs [26.195547788434908]
  主に4ビット浮動小数点(FP4)の精度を用いて,大規模言語モデル(LLM)の完全量子化訓練(FQT)を実演する。 ブロックサイズ,スケーリングフォーマット,ラウンドメソッドなど,FP4の主要な設計選択について検討する。
  論文  参考訳（メタデータ） (2025-05-25T12:14:25Z)
• Quartet: Native FP4 Training Can Be Optimal for Large Language Models [27.800012997794987]
  大規模言語モデル(LLM)モデルを低精度で直接訓練することは、計算コストに対処する方法を提供する。 NVIDIAの最近のBlackwellアーキテクチャは、FP4変種を使用した非常に低精度な操作を容易にする。 提案手法は, 高精度なFP4トレーニングを実現するための新しい手法である。
  論文  参考訳（メタデータ） (2025-05-20T17:55:50Z)
• Towards Efficient Pre-training: Exploring FP4 Precision in Large Language Models [25.700481606604647]
  実験により,我々のFP4トレーニング手法は,理論計算コストを小さくして,BF16とFP8に匹敵する精度を達成できた。 FP4をサポートする次世代ハードウェアの登場に伴い,本手法は効率的な超低精度トレーニングの基礎となる。
  論文  参考訳（メタデータ） (2025-02-17T05:33:11Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。