論文の概要: Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories

• arxiv url: http://arxiv.org/abs/2610.29378v1
• Date: Wed, 21 Oct 2026 08:03:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.285021
• Title: Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
• Title（参考訳）: 右のQ:自己生成軌道による量子化下での推論の復元
• Abstract要約: 量子化対応トレーニングは、低ビットの大規模言語モデルにおける推論能力を回復することを目的としている。 既存のレシピは、典型的には、固定された応答シーケンス上の元の完全精度モデルで量子化された学生を監督する。 本報告では, オンライン蒸留と候補ワイドKLを組み合わせた低ビットリカバリパイプラインOnQを提案する。
• 参考スコア（独自算出の注目度）: 31.82130967925359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization-aware training (QAT) aims to recover reasoning capabilities in low-bit large language models (LLMs). Existing recipes typically supervise the quantized student with the original full-precision model on fixed response sequences. However, the resulting low-bit quantized models still struggle on long-horizon reasoning tasks and often fail to terminate within a token budget that suffices for the full-precision model. We identify two challenges in closing this gap. First, fixed-response supervision leaves a mismatch between training prefixes and those encountered during student generation, and this trajectory divergence grows as responses lengthen. Second, on its own prefixes, the student underpredicts some next-token candidates and overpredicts others, and this distributional misalignment becomes more frequent at high-entropy prefixes. We present OnQ, a low-bit recovery pipeline that combines on-policy distillation and candidate-wise Dynamic KL. Starting from block-wise calibration, the quantized student generates responses and receives full-precision teacher supervision on its own prefixes. Dynamic KL weights forward and reverse KL by each candidate's teacher-student probability ratio to balance correction of under- and overprediction. Across Qwen3-1.7B, 4B, and 8B at 2- and 3-bit precision, OnQ achieves the highest nine-benchmark average, with the largest gains on long-horizon reasoning benchmarks. At 2 bits, it outperforms every baseline on every benchmark at every model size, improving the Qwen3-8B average by 10.26 points over the strongest baseline. It also produces shorter responses with fewer truncations and repetitive errors.
• Abstract（参考訳）: 量子化対応トレーニング(QAT)は、低ビット大言語モデル(LLM)の推論能力を回復することを目的としている。 既存のレシピは、典型的には、固定応答シーケンス上の元の完全精度モデルで量子化された学生を監督する。 しかしながら、結果として生じる低ビット量子化モデルは、長い水平推論タスクに苦戦し、フル精度モデルで十分であるトークン予算内では終了しないことが多い。 このギャップを埋める際の2つの課題を特定します。 第一に、固定応答の監督は、訓練前接頭辞と学生世代で遭遇した接頭辞のミスマッチを残し、この軌道の分岐は、応答が長くなるにつれて増加する。 第二に、学生は自身の接頭辞で次の候補者を過小評価し、他者を過小評価し、高エントロピーの接頭辞では、この分布的ミスアライメントがより頻繁に発生する。 本報告では, オンライン蒸留と候補ワイドKLを組み合わせた低ビットリカバリパイプラインOnQを提案する。 ブロックワイド校正から始め、量子化学生は応答を生成し、独自のプレフィックスで完全精度の教師監督を受ける。 動的KLは、各候補者の教師学生確率比によって前後のKLを重み付けし、過小評価と過小評価の補正を行う。 Qwen3-1.7B, 4B, 8Bを2ビットと3ビットの精度で比較すると、OnQは9ベンチマークの平均で最高であり、ロングホライゾン推論ベンチマークでは最大である。 2ビットで、各ベンチマークのベースラインを各モデルサイズで上回り、Qwen3-8B平均は最強のベースラインで10.26ポイント向上した。 また、より短い応答を発生し、より少ないトランケーションと繰り返しエラーを発生させる。

関連論文リスト

• OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models [26.24730229614082]
  量子化対応トレーニングは、大きな言語モデルが4ビット以下に圧縮されたときに失われる精度の多くを回復することができる。 既存のre- Coveryステージは、固定された完了や教師生成の回答に一般的に最適化されている。 OnlineQATは、学生が生成した反応をオンラインで蒸留する。
  論文  参考訳（メタデータ） (2026-10-07T03:05:42Z)
• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning [33.38995980047863]
  量子化対応蒸留(QAD)は、サブ-3ビットの量子化で失われる短時間の質問応答性能の多くを復元する。 本研究は,教師が量子化モデルが実際に進行する場所を監督する,オンライン蒸留の段階を導入する。 OPDは、平均的なBF16パフォーマンスの保持率を、MATH-500では35%から70%に、HumanEvalでは66%から91%に引き上げ、ショートフォームのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-09-22T17:01:09Z)
• SchurQuant: Groupwise Discrete Optimization for Layer-Wise LLM Quantization [9.043029012704817]
  本稿では,サフィックスの最適連続応答を解析的に排除するSCHUROPTを紹介する。 クローズドフォームの行単位のスケール/ゼロポイントのリフィッティングと、整数符号上の座標降下を交互に行う。 8つのLlamaモデルとQwenモデルで、SCHURQUANTはゼロショットの精度が最も高い。
  論文  参考訳（メタデータ） (2026-08-16T06:29:10Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。