論文の概要: Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking
- arxiv url: http://arxiv.org/abs/2607.00482v1
- Date: Wed, 01 Jul 2026 06:09:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.74603
- Title: Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking
- Title（参考訳）: いつ止めるべきか: 再考を減らすためのセグメンツ・レベル・クレジット・アサインメント
- Abstract要約: その結果,不正確な痕跡は,非生産的自己反射の頻度が高いことがわかった。
本稿では,各推論セグメントが正当性から遠ざかるか否かに基づいて,セグメントレベルの信用を割り当てるDASHを提案する。
- 参考スコア（独自算出の注目度）: 12.589885044346827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning language models frequently overthink: generating extended chains of behaviors such as hedging, approach abandonment, and self contradiction that consume tokens without improving answers. We show that these behaviors are not merely a consequence of length; even when controlling for response length, incorrect traces exhibit higher rates of unproductive self-reflection than correct ones. Addressing this requires identifying where self-reflection helps vs hurts, but obtaining these step-level annotations is costly. We observe that intermediate answer commitments within reasoning traces can provide a cheap proxy: by comparing each final answer candidate in the trace to the ground truth, we can determine whether subsequent reflection is productive without any additional supervision. Building on this insight, we propose DASH (Drift Aware advantage SHaping), which assigns segment-level credit based on whether each reasoning segment leads toward or away from correctness. On competition-level math benchmarks, DASH achieves the highest accuracy where overthinking is prevalent (AIME25: 50.8% vs. 45.4% GRPO) while reducing overthinking behaviors and achieving more productive self-correction than baselines.
- Abstract（参考訳）: ヘッジ、アプローチ放棄、答えを改善することなくトークンを消費する自己矛盾などの行動の延長連鎖を生成する。
反応長を制御しても、不正確な痕跡は、正しいものよりも非生産的な自己回帰の速度が高いことが示される。
これに対処するためには、自己修正が役に立つか、痛いかを特定する必要がありますが、これらのステップレベルのアノテーションを取得するのはコストがかかります。
我々は、推論トレース内の中間回答のコミットメントが、より安価なプロキシを提供することができることを観察し、各最終回答候補を土台真実に比較することにより、その後のリフレクションが追加の監督なしに生産的であるかどうかを判断できる。
この知見に基づいてDASH(Drift Aware advantage SHaping)を提案する。
競合レベルのベンチマークでは、DASHは過剰思考が一般的である最高の精度(AIME25: 50.8% vs. 45.4% GRPO)を達成し、過剰思考の振る舞いを減らし、ベースラインよりも生産性の高い自己補正を達成する。
関連論文リスト
- Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models [38.84286306535778]
第1の正しい接頭辞の停止は、標準的推論よりも21%の精度向上を示す。
早期停止のような一般的な効率戦略は、冗長な過度な考えを著しく減らすが、有害な過度な過度な考えを軽減できない。
我々の研究結果は言語のみの推論ベンチマークに一般化され、より広範な信頼性リスクとして有害な過ちを浮き彫りにしている。
論文 参考訳（メタデータ） (2026-06-01T19:59:27Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。
GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
論文 参考訳（メタデータ） (2026-01-07T23:05:17Z) - Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。
提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。
より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
論文 参考訳（メタデータ） (2026-01-06T12:31:51Z) - Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time [22.9491443902816]
本研究では、推論軌跡の構造と、異なる認知行動と相関する特別な注意点を明らかにする。
テスト時間における認知推論ステアリングのトレーニング不要な方法であるCRESTを提案する。
CRESTは非生産的推論の振る舞いを適応的に抑制し、高い精度と低い計算コストをもたらす。
論文 参考訳（メタデータ） (2025-12-31T02:46:04Z) - In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。
InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。
その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
論文 参考訳（メタデータ） (2025-11-13T01:47:06Z) - Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。
推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。
我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
論文 参考訳（メタデータ） (2025-08-25T03:17:17Z) - Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。
本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
論文 参考訳（メタデータ） (2025-06-17T06:04:01Z) - Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt [74.35891434097053]
RLLM(Reasoning Large Language Models)は、複雑なタスクにおいて素晴らしいパフォーマンスを示す。
彼らはしばしば過度に考え、正しい答えに達した後も不必要な推論ステップを実行します。
本稿では,自己疑念の観点から,過剰思考を定量的に分析する。
本稿では,入力問題に対するモデルの過度信頼度を低減するための,シンプルで効果的なプロンプト手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T14:30:02Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。