論文の概要: Does More Thinking Pay Off? Reasoning Cost and Correctness of LLMs in Code Generation and Bug Fixing
- arxiv url: http://arxiv.org/abs/2610.36952v1
- Date: Tue, 27 Oct 2026 10:12:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.562818
- Title: Does More Thinking Pay Off? Reasoning Cost and Correctness of LLMs in Code Generation and Bug Fixing
- Title（参考訳）: コード生成とバグ修正におけるLCMのコストと正確性について
- Abstract要約: 我々は、推論の精度向上とトークンのオーバーヘッド、そして、トレースの短縮が依然として正しい解につながるかどうかを考察する。
我々は,HumanEval Pro,MBPP Pro,BugsInPyから引き出された866のPythonタスクを5つのモデル設定で検討した。
- 参考スコア（独自算出の注目度）: 7.217389211497182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many LLMs now emit an explicit reasoning trace before they write code, but benchmark results for code generation and bug fixing usually report correctness alone. It is therefore unclear how much the extra reasoning contributes relative to the tokens it consumes. We examine this question with 866 Python tasks drawn from HumanEval Pro, MBPP Pro, and BugsInPy under five model settings. We look at the accuracy gain and token overhead of reasoning, the behaviors that appear inside reasoning traces, and whether a shortened trace still leads to a correct solution. Turning reasoning on in Qwen3-32B over five runs improves mean pass@1 on HumanEval Pro from 71.1% to 76.5% and mean tests pass on BugsInPy from 3.5% to 7.9%. On MBPP Pro the improvement from 68.1% to 69.5% is not statistically significant, even though the model uses a median of over 2,000 thinking tokens per task. Across models, a longer median trace does not reliably mean higher accuracy. A qualitative analysis shows that traces mostly choose and check an implementation in code generation, while in bug fixing they mostly locate the fault and plan the repair. We then truncate stored traces offline and ask Qwen3-32B with reasoning off to produce a solution from what remains. Retaining the first half of a trace yields no statistically significant drop in correctness. Stopping when the trace becomes repetitive seldom triggers, and stopping once solution code first appears benefits some models but harms others. Neither rule beats plain fixed truncation. These results suggest that more reasoning is not always better and that studies should report reasoning cost alongside correctness.
- Abstract（参考訳）: 多くのLCMは、コードを書く前に明確な推論トレースを出力するが、コード生成とバグ修正のベンチマーク結果は通常、正確性のみを報告している。
したがって、それが消費するトークンに対する余分な推論がどの程度寄与するかは不明確である。
我々は,HumanEval Pro,MBPP Pro,BugsInPyから抽出した866のPythonタスクを5つのモデル設定で検討した。
我々は、推論の精度向上とトークンオーバーヘッド、推論トレースの中に現れる振る舞い、そして、短縮されたトレースが依然として正しい解につながるかどうかを考察する。
Qwen3-32Bでは5回以上、平均パス@1が71.1%から76.5%に改善され、BugsInPyでは平均テストが3.5%から7.9%に改善された。
MBPP Proでは68.1%から69.5%の改善は統計学的に有意ではない。
モデル全体では、より長い中央値のトレースは確実に高い精度を意味するわけではない。
定性的な分析は、トレースがコード生成の実装を選択してチェックするのに対して、バグ修正では、主に障害を見つけ、修理を計画することを示している。
次に、保存されたトレースをオフラインに切り込み、Qwen3-32Bに、残りのものからソリューションを生成する理由を尋ねます。
トレースの前半を保持すると、統計的に有意な正しさの低下は生じない。
トレースが繰り返しトリガーされることはめったになく、一度ソリューションコードが最初に現れると、いくつかのモデルにメリットがあるが、他のモデルに害を与える。
どちらのルールも固定トランケーションに勝ってはいません。
これらの結果は、推論が常に良いとは限らないこと、そして、研究は推論コストと正しさを報告すべきであることを示唆している。
関連論文リスト
- Same Beliefs, Different Policies: Learning Reusable Representations for Early Stopping in LLM Reasoning [71.05723778441718]
BELT(BELief-based Termination)は、結果予測と停止制御を分離する。
あるプローブはCPUポリシーの調整やしきい値調整を通じて、異なる精度とコストのトレードオフをサポートする。
BELTは5つのアウト・オブ・ディストリビューション・数学のベンチマークで、Qwen3-1.7Bで41%、OLMo-3-7B-Thinkで51%削減した。
論文 参考訳（メタデータ） (2026-10-21T21:05:11Z) - Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses [0.0]
言語モデルがデプロイされると、参照ソリューションが存在しないため、それが書き込む推論トレースがその答えを判断する唯一の証拠である。
参照ソリューションも判断モデルも重み更新もなしで、単一のトレースがどの程度の精度で検証できるかを問う。
GSM8K上の冷凍LLaMA-2-7Bチャットの場合、検出はそのようなパイプラインを制限するものではない。
論文 参考訳（メタデータ） (2026-10-21T08:25:41Z) - Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。
オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
論文 参考訳（メタデータ） (2026-10-01T05:57:14Z) - Reasoning Quality Emerges Early: Data Curation for Reasoning Models [58.56882815783977]
我々は,初期推論トークンのみを用いて,多種多様かつ挑戦的な推論例を識別可能であることを示す。
本手法は,トークン効率を91%向上させながら,既存のベースラインを最大1.7%向上させる。
論文 参考訳（メタデータ） (2026-06-25T09:32:58Z) - Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning [15.231928045776293]
sevraは、凍結したソルバの初期応答を保存するか、アクティブな検証を実行するかを決定するサーブレイヤーコントローラである。
数学では、選択的検証は76.3%の精度で行われ、検証は常に75.5%である。
CommonsenseQAでは、常時オンの検証が問題になり、Self-Consistency@5では、実現したトークンコストの約5倍の精度が向上する。
論文 参考訳（メタデータ） (2026-06-18T05:25:43Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳（メタデータ） (2026-05-23T04:42:45Z) - How to Steal Reasoning Without Reasoning Traces [11.96740610715437]
多くの大規模言語モデル(LLM)は、応答を生成するために推論を使用するが、完全な推論トレースは明らかにしない。
対象モデルに露出した要約を入力,回答,(任意に)推論するのみを与えられたトレースインバージョンモデルを導入し,詳細な合成推論トレースを生成する。
論文 参考訳（メタデータ） (2026-03-07T15:50:44Z) - Demystifying Errors in LLM Reasoning Traces: An Empirical Study of Code Execution Simulation [7.377446354867118]
大規模言語モデル(LLM)を用いた実行時の振る舞い推定に関する最初の実証的研究を行う。
我々は4つの最先端推論LCMを評価し,9つの推論誤差の分類法を開発した。
計算カテゴリの障害をケーススタディとして,本手法が58%の誤差を補正することを示す。
論文 参考訳（メタデータ） (2025-11-28T21:29:09Z) - Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。
Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。
不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
論文 参考訳（メタデータ） (2025-09-27T16:25:06Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳（メタデータ） (2025-05-23T14:17:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。