論文の概要: Quantized Reasoning Models Think They Need to Think Longer, but They Do Not

• arxiv url: http://arxiv.org/abs/2606.00206v1
• Date: Fri, 29 May 2026 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.159029
• Title: Quantized Reasoning Models Think They Need to Think Longer, but They Do Not
• Title（参考訳）: 量子推論モデルはもっと長く考える必要があると思うが、そうではない
• Abstract要約: 学習後量子化(PTQ)は大規模言語モデルを効率的に展開するために広く用いられているが、推論モデルへの影響はよく理解されていない。 数学、コーディング、科学のQAを通じて、攻撃的なPTQは、チェーン・オブ・ソート(CoT)の長さを増大させながら精度を低下させる。 量子化モデルの失敗の最大52%において、モデルは中間的推論ステップで正しい答えに達するが、最終的な答えとして出力しない。
• 参考スコア（独自算出の注目度）: 20.88617888340002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) is widely used to deploy large language models efficiently, but its effect on reasoning models is not well understood. Across math, coding, and science QA, we find that aggressive PTQ reduces accuracy while increasing chain-of-thought (CoT) length. Surprisingly, we show that in up to 52% of the quantized models' failures, models reach the right answer in intermediate reasoning steps but do not output it as a final answer. To understand why quantization leads to this increase in overthinking errors, we measure the token-level KL divergence between quantized and full-precision output distributions. Positions with high KL divergence correlate strongly with high next-token entropy, and at these positions quantized models disproportionately sample overthinking markers such as "wait", "but", and "alternatively". We show that simply introducing a training-free logit penalty on a curated set of overthinking markers can reduce CoT length by 12--23% while preserving or improving accuracy across 5 models (1.5B-32B parameters), 3 quantization methods, and 5 benchmarks, yielding a favorable Pareto frontier of accuracy against reasoning cost compared to penalizing other token sets. Overthinking errors produced by quantized models are particularly reduced by up to 58%.
• Abstract（参考訳）: 学習後量子化(PTQ)は大規模言語モデルを効率的に展開するために広く用いられているが、推論モデルへの影響はよく理解されていない。 数学、コーディング、科学のQAを通じて、攻撃的なPTQは、チェーン・オブ・ソート(CoT)の長さを増大させながら精度を低下させる。 驚くべきことに、量子化モデルの失敗の最大52%において、モデルは中間的推論ステップで正しい解に達するが、最終的な解として出力しない。 量子化が過大な誤差の増加をもたらす理由を理解するために、量子化と完全精度の出力分布の間のトークンレベルKLのばらつきを測定する。 高いKLの発散位置は、高次トーケンエントロピーと強く相関し、これらの位置における量子化モデルは「待機」、「分」、「交互に」といったマーカーを過度にサンプリングする。 以上の結果から,5モデル(1.5B-32Bパラメータ),3量子化手法,5ベンチマーク)でCoT長を12～23%削減し,推理コストに対して精度の高いParetoフロンティアが得られた。 量子化されたモデルによって生成された過大なエラーは、特に最大58%削減される。

関連論文リスト

• Why Does Post-Training Quantization Work? [24.890051501757146]
  訓練後の量子化は、重みを少ない精度で保存することで大きな言語モデルを圧縮し、各量子化重みは隠れた状態に誤りをもたらす。 なぜポストトレーニングの量子化が機能するのか? 事前学習された量子化ロバスト性を特徴付ける2つのメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-10T15:32:32Z)
• Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models [19.14957817129379]
  学習後量子化の低ビット化はテスト時間計算コストを隠蔽できることを示す。 INT4/INT3量子化は精度を保ちつつも、推論と推論の使用量を増加させ、期待されるトーケン毎のスピードアップを相殺することを発見した。
  論文  参考訳（メタデータ） (2026-06-24T07:54:55Z)
• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
  AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
  論文  参考訳（メタデータ） (2026-03-16T10:06:05Z)
• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens [12.788799173865]
  深く考えるトークンを識別することで、推論時間の労力を定量化します。 Think@nは、高い深層比でサンプルを優先順位付けするテストタイムスケーリング戦略である。
  論文  参考訳（メタデータ） (2026-02-13T23:07:37Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• Scaling Laws For Mixed Quantization [14.27345780977423]
  大規模言語モデル(LLM)の学習後の量子化は、推論のメモリと計算要求を減らすのに有効であることが証明されている。 量子化比(Q_r$)と量子化ブロックサイズ(Q_b$)という2つの重要な指標を導入する。 本稿では,学習後量子化(PTQ)に関する統一的なスケーリング法則を提案する。
  論文  参考訳（メタデータ） (2024-10-09T09:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。