論文の概要: OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models

• arxiv url: http://arxiv.org/abs/2610.09346v1
• Date: Wed, 07 Oct 2026 03:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.689122
• Title: OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models
• Title（参考訳）: OnlineQAT:超低ビット大言語モデルのオンライン蒸留
• Abstract要約: 量子化対応トレーニングは、大きな言語モデルが4ビット以下に圧縮されたときに失われる精度の多くを回復することができる。 既存のre- Coveryステージは、固定された完了や教師生成の回答に一般的に最適化されている。 OnlineQATは、学生が生成した反応をオンラインで蒸留する。
• 参考スコア（独自算出の注目度）: 26.24730229614082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization-aware training (QAT) can recover much of the accuracy lost when large language models are compressed below four bits. Existing re- covery stages, however, are commonly optimized on fixed completions or teacher-generated answers, whereas the deployed quantized model condi- tions on prefixes generated by itself. Quantization errors can therefore move the model into states that are absent from offline recovery data. We introduce OnlineQAT, a two-stage framework that first obtains a usable low-bit initialization through block-wise QAT and then performs on-policy distillation (OPD) on student-generated responses. At each visited pre- fix, a frozen full-precision teacher provides a sampled reverse-KL training signal. On Qwen3-1.7B, OnlineQAT obtains the best average among the compared quantized methods: 57.28 at W3A16 and 32.52 at W2A16, im- proving over ReasoningQAT by 2.90 and 0.44 points, respectively. The results suggest that student-visited states provide a useful recovery signal beyond fixed-completion training, particularly at three bits.
• Abstract（参考訳）: 量子化対応トレーニング(QAT)は、大きな言語モデルが4ビット以下で圧縮されたときに失われる精度の多くを回復することができる。 しかし、既存のre-overyステージは、固定完了や教師生成の回答に最適化されているのに対して、デプロイされた量子化されたモデルcondi-tionsは、それ自体が生成したプレフィックスに最適化されている。 量子化エラーは、オフラインのリカバリデータから欠落している状態にモデルを移動させる。 ブロックワイズQATを用いて、まず使用可能な低ビット初期化を取得し、次に学生が生成した応答に対して、オンライン蒸留(OPD)を行うための2段階フレームワークであるOnlineQATを紹介する。 訪れた各プリフィックスでは、凍結された全精度の教師がサンプルの逆KL訓練信号を提供する。 Qwen3-1.7Bでは、OnlineQATはW3A16で57.28、W2A16で32.52、ReasoningQATでそれぞれ2.90点、0.44点という比較された定量化手法の中で最高の平均値を得る。 その結果,学生が訪問する状態は,特に3ビットで,固定完了訓練以外の回復信号として有用であることが示唆された。

関連論文リスト

• Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning [33.38995980047863]
  量子化対応蒸留(QAD)は、サブ-3ビットの量子化で失われる短時間の質問応答性能の多くを復元する。 本研究は,教師が量子化モデルが実際に進行する場所を監督する,オンライン蒸留の段階を導入する。 OPDは、平均的なBF16パフォーマンスの保持率を、MATH-500では35%から70%に、HumanEvalでは66%から91%に引き上げ、ショートフォームのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-09-22T17:01:09Z)
• Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs [2.7466083253666107]
  量子化対応ヒーリング(QAH)は、オリジナルの圧縮モデルから直接4ビットの学生を蒸留する。 GPT-OSS 120Bから60BからMXFP4パイプラインでは、QAH学生は9つのベンチマークのうち7つのベンチマークでbfloat16ソースと、約4倍の重量記憶と教師のパラメータ数で一致または打ち負かす。 また、分散トレーニングバックエンド間の大規模な再現可能な品質ギャップを含む、デプロイメントのレッスンも報告します。
  論文  参考訳（メタデータ） (2026-08-21T10:19:27Z)
• QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction [29.200349824129102]
  QUISARはトレーニングループにおいて損失認識の再構築を継続的に行い、損失フロアを低くし、結果として生じる低ビットモデルを改善する。 競合QAT法では,2,3,4ビットで最低値のKL分散を実現する。 8つのタスクの平均精度を、強いQATとPTQベースラインよりも3.5-4.3ポイント向上させる。
  論文  参考訳（メタデータ） (2026-08-14T05:29:58Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。