論文の概要: Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
- arxiv url: http://arxiv.org/abs/2609.26708v1
- Date: Tue, 22 Sep 2026 17:01:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.762585
- Title: Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
- Title（参考訳）: 量子化モデルが進む列車:低ビット推論のためのオンライン蒸留
- Abstract要約: 量子化対応蒸留(QAD)は、サブ-3ビットの量子化で失われる短時間の質問応答性能の多くを復元する。
本研究は,教師が量子化モデルが実際に進行する場所を監督する,オンライン蒸留の段階を導入する。
OPDは、平均的なBF16パフォーマンスの保持率を、MATH-500では35%から70%に、HumanEvalでは66%から91%に引き上げ、ショートフォームのパフォーマンスを維持している。
- 参考スコア（独自算出の注目度）: 33.38995980047863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization-aware distillation (QAD) restores much of the short-form question-answering performance lost to sub-3-bit quantization, yet leaves mathematical and code reasoning substantially impaired. Long generations often degenerate into repetitive loops, exhausting the decoding budget without completing a solution. We trace this gap to quantization-amplified exposure bias: QAD trains on fixed corpus prefixes, while quantization-induced deviations compound along the model's own autoregressive trajectories. To address this mismatch, we introduce an on-policy distillation (OPD) stage that places teacher supervision where the quantized model actually goes. Starting from a QAD checkpoint, the student generates through the quantized forward path used at deployment and receives feedback from a frozen full-precision teacher on its own prefixes, combining dense token-level guidance with task-verifier rewards. Across four models at 2.79 and 1.88 effective bits, OPD raises average BF16 performance retention from 35% to 70% on MATH-500 and from 66% to 91% on HumanEval while preserving short-form performance, with reasoning gains substantially exceeding those of continued teacher-forced QAD in matched-budget comparisons. By coupling QAD's stable low-bit initialization with OPD's on-policy reasoning recovery, our framework provides a comprehensive sub-3-bit solution that preserves broad capabilities while restoring long-form reasoning.
- Abstract（参考訳）: 量子化対応蒸留(QAD)は、サブ-3ビットの量子化で失われる短い形式の質問応答性能の多くを復元するが、数学的およびコード推論は実質的に損なわれている。
長世代はしばしば繰り返しループに縮退し、解を完成させることなくデコード予算を浪費する。
QADは固定されたコーパスプレフィックスをトレーニングし、量子化誘起偏差はモデル自身の自己回帰軌道に沿って合成される。
このミスマッチに対処するために,教師が量子化されたモデルが実際に進行する場所を監督するオンライン蒸留(OPD)ステージを導入する。
QADチェックポイントから、学生は配置時に使用される量子化されたフォワードパスを通して生成し、自身のプレフィックスで凍結されたフル精度の教師からフィードバックを受け、密集したトークンレベルのガイダンスとタスク検証の報酬を組み合わせる。
OPDは2.79ビットと1.88ビットの4つのモデルで平均的BF16パフォーマンス保持率をMATH-500で35%から70%に引き上げ、HumanEvalで66%から91%に引き上げた。
当社のフレームワークは,QADの安定した低ビット初期化とOPDのオンデマンド推論リカバリを結合することにより,長期的推論を回復しながら幅広い機能を維持するための包括的サブ3ビットソリューションを提供する。
関連論文リスト
- On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning [27.08087977200613]
BIRD(Bootstrapped Iterative Self-Reasoning Distillation)は、2段階の自己焼成蒸留法である。
まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。
MATH-500 や AIME のベンチマーク上でのオンライン蒸留やコールドスタートよりも高い精度・効率のトレードオフを実現している。
論文 参考訳（メタデータ） (2026-07-17T08:15:35Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - Consistency Deep Equilibrium Models [8.278751626877431]
ディープラーニングにおける強力なパラダイムとして、Deep Equilibrium Models (DEQ)が登場している。
DEQは、固定点ソルバの反復性により、大きな推論遅延を引き起こす。
我々は、DEC推論を高速化するために、一貫性深度平衡モデル(C-DEQ)を導入する。
論文 参考訳（メタデータ） (2026-02-03T02:42:48Z) - What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。
本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
論文 参考訳（メタデータ） (2026-01-21T11:22:29Z) - Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。
提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。
より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
論文 参考訳（メタデータ） (2026-01-06T12:31:51Z) - First-Order Error Matters: Accurate Compensation for Quantized Large Language Models [32.69069234109942]
後学習量子化(PTQ)は、大規模言語モデル(LLM)の圧縮に効率的なアプローチを提供する
既存の補償に基づくウェイトキャリブレーション法は、しばしば量子化誤差をモデル化するために2階テイラー展開に依存する。
本稿では,量子化誤差補償を改善するために,一階勾配項を明示的に組み込んだ新しいPTQ手法であるFOEMを提案する。
論文 参考訳（メタデータ） (2025-07-15T06:18:46Z) - MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
論文 参考訳（メタデータ） (2025-07-06T08:16:50Z) - Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。
デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。
われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
論文 参考訳（メタデータ） (2025-05-16T12:11:40Z) - Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
推論能力は汎用知能の重要な構成要素である。
OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。
本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
論文 参考訳（メタデータ） (2025-02-10T18:57:29Z) - DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and
Quantization [75.72231742114951]
BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。
これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。
そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
論文 参考訳（メタデータ） (2022-03-21T18:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。