論文の概要: When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling

• arxiv url: http://arxiv.org/abs/2604.10739v1
• Date: Sun, 12 Apr 2026 17:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.195237
• Title: When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling
• Title（参考訳）: ハートをもっと考えるとき - LLMテストタイムコンピューティングスケーリングの過小評価
• Authors: Shu Zhou, Rui Ling, Junan Chen, Xin Wang, Tao Fan, Hao Wang,
• Abstract要約: 計算予算の増加に伴い,追加推論トークンの限界効用がどう変化するかを検討する。 限界リターンは、より高い予算で大幅に減少し、モデルが過度に考え過ぎている」という結果が得られます。 当社のコストアウェア評価フレームワークは、適度な予算で停止することで、同等の精度を維持しながら計算を大幅に削減できることを示した。
• 参考スコア（独自算出の注目度）: 9.695133154827362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling test-time compute through extended chains of thought has become a dominant paradigm for improving large language model reasoning. However, existing research implicitly assumes that longer thinking always yields better results. This assumption remains largely unexamined. We systematically investigate how the marginal utility of additional reasoning tokens changes as compute budgets increase. We find that marginal returns diminish substantially at higher budgets and that models exhibit ``overthinking'', where extended reasoning is associated with abandoning previously correct answers. Furthermore, we show that optimal thinking length varies across problem difficulty, suggesting that uniform compute allocation is suboptimal. Our cost-aware evaluation framework reveals that stopping at moderate budgets can reduce computation significantly while maintaining comparable accuracy.
• Abstract（参考訳）: 思考の連鎖を拡大してテストタイム計算をスケールすることは、大きな言語モデル推論を改善するための主要なパラダイムとなっている。 しかし、既存の研究は、より長い思考が常により良い結果をもたらすと暗黙的に仮定している。 この仮定はほとんど検討されていない。 計算予算の増加に伴い,追加推論トークンの限界効用がどう変化するか,系統的に検討する。 限界リターンは、より高い予算で大幅に減少し、モデルが 'overthinking'' を示すことに気付く。 さらに、最適思考長は問題難易度によって異なることを示し、均一な計算割り当てが最適以下であることを示唆する。 当社のコストアウェア評価フレームワークは、適度な予算で停止することで、同等の精度を維持しながら計算を大幅に削減できることを示した。

関連論文リスト

• ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition [11.094392304740134]
  我々は,厳密なグローバルトークン制約の下で,複数のタスクに対する予算付き推論時間推論について検討した。 この視点はメタ認知的要件を強調し、タスクの難しさを予測し、投資よりもリターンを推定する。 2段階のフレームワークであるROI-Reasoningを提案する。
  論文  参考訳（メタデータ） (2026-01-07T11:30:55Z)
• Steering LLM Thinking with Budget Guidance [48.65894557568655]
  予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。 提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。 この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
  論文  参考訳（メタデータ） (2025-06-16T17:57:05Z)
• Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [108.07030347318624]
  より長い思考の連鎖(CoTs)によるスケーリングは、特定の領域におけるLarge Language Models(LLMs)の推論性能を損なう可能性があることを示す。 深層思考に異なる推論手法を採用するためのモデルを教えるための思考-最適スケーリング戦略を提案する。 我々のQwen2.5-32B-Instructに基づく自己改善モデルは、様々なベンチマークで他の蒸留ベースの32B o1-likeモデルより優れています。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。