論文の概要: When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling

• arxiv url: http://arxiv.org/abs/2604.10739v1
• Date: Sun, 12 Apr 2026 17:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.195237
• Title: When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling
• Title（参考訳）: ハートをもっと考えるとき - LLMテストタイムコンピューティングスケーリングの過小評価
• Abstract要約: 計算予算の増加に伴い,追加推論トークンの限界効用がどう変化するかを検討する。 限界リターンは、より高い予算で大幅に減少し、モデルが過度に考え過ぎている」という結果が得られます。 当社のコストアウェア評価フレームワークは、適度な予算で停止することで、同等の精度を維持しながら計算を大幅に削減できることを示した。
• 参考スコア（独自算出の注目度）: 9.695133154827362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling test-time compute through extended chains of thought has become a dominant paradigm for improving large language model reasoning. However, existing research implicitly assumes that longer thinking always yields better results. This assumption remains largely unexamined. We systematically investigate how the marginal utility of additional reasoning tokens changes as compute budgets increase. We find that marginal returns diminish substantially at higher budgets and that models exhibit ``overthinking'', where extended reasoning is associated with abandoning previously correct answers. Furthermore, we show that optimal thinking length varies across problem difficulty, suggesting that uniform compute allocation is suboptimal. Our cost-aware evaluation framework reveals that stopping at moderate budgets can reduce computation significantly while maintaining comparable accuracy.
• Abstract（参考訳）: 思考の連鎖を拡大してテストタイム計算をスケールすることは、大きな言語モデル推論を改善するための主要なパラダイムとなっている。 しかし、既存の研究は、より長い思考が常により良い結果をもたらすと暗黙的に仮定している。 この仮定はほとんど検討されていない。 計算予算の増加に伴い,追加推論トークンの限界効用がどう変化するか,系統的に検討する。 限界リターンは、より高い予算で大幅に減少し、モデルが 'overthinking'' を示すことに気付く。 さらに、最適思考長は問題難易度によって異なることを示し、均一な計算割り当てが最適以下であることを示唆する。 当社のコストアウェア評価フレームワークは、適度な予算で停止することで、同等の精度を維持しながら計算を大幅に削減できることを示した。

関連論文リスト

• Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models [38.84286306535778]
  第1の正しい接頭辞の停止は、標準的推論よりも21%の精度向上を示す。 早期停止のような一般的な効率戦略は、冗長な過度な考えを著しく減らすが、有害な過度な過度な考えを軽減できない。 我々の研究結果は言語のみの推論ベンチマークに一般化され、より広範な信頼性リスクとして有害な過ちを浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-06-01T19:59:27Z)
• Nice Fold or Hero Call: Learning Budget-Efficient Thinking for Adaptive Reasoning [9.687158786222994]
  大規模な推論モデル(LRM)は、拡張推論によって問題解決を改善するが、しばしばテスト時間計算を誤って配置する。 我々は,投資コストに配慮した報酬の下で,GRPOと行動開始を組み合わせた2段階の枠組みであるBudget-Efficient Thinking (BET)を提案する。 BETは、全体的なパフォーマンス改善を達成しながら、推論トークンを平均で55%削減する。
  論文  参考訳（メタデータ） (2026-05-12T06:51:31Z)
• Rerank Before You Reason: Analyzing Reranking Tradeoffs through Effective Token Cost in Deep Search Agents [50.212640395029744]
  深層探索パイプラインにおける推論予算の配分について検討する。 BrowseComp-Plusベンチマークを用いて、モデルスケール、推論の労力、深度の再検討、トークン総コストのトレードオフを分析する。
  論文  参考訳（メタデータ） (2026-01-20T18:38:35Z)
• ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition [11.094392304740134]
  我々は,厳密なグローバルトークン制約の下で,複数のタスクに対する予算付き推論時間推論について検討した。 この視点はメタ認知的要件を強調し、タスクの難しさを予測し、投資よりもリターンを推定する。 2段階のフレームワークであるROI-Reasoningを提案する。
  論文  参考訳（メタデータ） (2026-01-07T11:30:55Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• Steering LLM Thinking with Budget Guidance [48.65894557568655]
  予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。 提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。 この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
  論文  参考訳（メタデータ） (2025-06-16T17:57:05Z)
• Does Thinking More always Help? Mirage of Test-Time Scaling in Reasoning Models [130.5487886246353]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [108.07030347318624]
  より長い思考の連鎖(CoTs)によるスケーリングは、特定の領域におけるLarge Language Models(LLMs)の推論性能を損なう可能性があることを示す。 深層思考に異なる推論手法を採用するためのモデルを教えるための思考-最適スケーリング戦略を提案する。 我々のQwen2.5-32B-Instructに基づく自己改善モデルは、様々なベンチマークで他の蒸留ベースの32B o1-likeモデルより優れています。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。