論文の概要: To Think or Not to Think: Allocating Reasoning Where It Helps
- arxiv url: http://arxiv.org/abs/2609.29664v1
- Date: Sun, 30 Aug 2026 03:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.093854
- Title: To Think or Not to Think: Allocating Reasoning Where It Helps
- Title（参考訳）: 考えるか考えるかしないか - 推論が役に立つ場所を割り当てる
- Abstract要約: その結果, 推理長が精度に与える影響は, テキスト分割可能な質問に集中していることが判明した。
textbfCARE--textbfContrastive textbfAccuracy textbfReward textbfEstimationを提案する。
- 参考スコア（独自算出の注目度）: 15.344972148349939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has proven effective in enhancing the reasoning performance of large language models (LLMs), particularly in complex mathematical and programming tasks. However, this capability comes with systematic \textit{length misallocation}, in which models devote excessive reasoning to simple questions while terminating prematurely on harder ones, degrading inference efficiency with negligible accuracy improvement. Many length-adaptive methods mitigate this issue by allocating token budgets according to question difficulty, under the implicit assumption that harder questions benefit monotonically from extended reasoning. In contrast, we find that the effect of reasoning length on accuracy is concentrated on \textit{partially solvable} questions. Our further analysis reveals that explicit length rewards can produce unintended training dynamics. Motivated by these findings, we propose \textbf{CARE}---\textbf{C}ontrastive \textbf{A}ccuracy \textbf{R}eward \textbf{E}stimation---which compares the beneficial length adjustment per question from online sampled responses and applies adaptive length rewards within Group Relative Policy Optimization, with no extra hyperparameters or additional inference cost. Experiments across multiple reasoning benchmarks demonstrate that our method improves Pass@1 by up to \(4\%\) while simultaneously reducing reasoning length by \(37\%\), achieving higher token efficiency. Code will be available upon the acceptance of this paper.
- Abstract（参考訳）: 強化学習(RL)は大規模言語モデル(LLM)の推論性能の向上に有効であることが証明されている。
しかし、この機能は体系的な \textit{length misallocation} で、モデルは単純な質問に対して過剰な推論をし、難しい質問を早期に終了させ、無視できる精度の改善で推論効率を低下させる。
多くの長順法は、より難しい質問が拡張された推論から単調に利益をもたらすという暗黙の仮定の下で、問題の難しさに応じてトークン予算を割り当てることによってこの問題を緩和する。
対照的に、推論長が精度に与える影響は、 \textit{partially solvable} 質問に集中している。
さらに分析したところ、明示的な長さの報酬は意図しないトレーニングのダイナミクスを生み出すことが判明した。
これらの結果から, オンラインサンプル応答からの質問に対する有意な長さ調整を比較し, グループ相対政策最適化において適応長報酬を適用し, 余分なハイパーパラメータや追加の推論コストを伴わず, 適応長報酬を適用できるような, textbf{CARE}--\textbf{C}ontrastive \textbf{A}ccuracy \textbf{R}eward \textbf{E}stimation-を提案する。
複数の推論ベンチマークを用いて実験した結果,Pass@1 は最大で \(4\%\) に改善され,同時に推論長は \(37\%\) に短縮され,トークン効率が向上した。
コードは、この論文の受理時に利用可能になる。
関連論文リスト
- InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning [36.37924312794855]
冗長性は単に長さの問題ではなく、中間的推論品質の低下の症状であると主張する。
本稿では,AUCに基づく報酬と単調報酬を組み合わせたRLトレーニングのための報奨フレームワークであるInfoDensityを,推論品質の統一尺度として提案する。
論文 参考訳（メタデータ） (2026-03-18T03:11:36Z) - TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。
TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
論文 参考訳（メタデータ） (2025-11-17T10:38:56Z) - DART: Difficulty-Adaptive Reasoning Truncation for Efficient Large Language Models [36.962276192354174]
textbfDARTは、問題の難易度に応じて思考長を調整する。
textbfTruncationフレームワークは、いつ考えるのをやめるかを学ぶ
論文 参考訳（メタデータ） (2025-11-03T02:41:20Z) - DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。
本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。
このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
論文 参考訳（メタデータ） (2025-11-01T17:41:28Z) - Beyond Token Length: Step Pruner for Efficient and Accurate Reasoning in Large Language Models [26.88030285500965]
大きな推論モデル(LRM)は複雑なタスクにおいて強いパフォーマンスを示すが、しばしば過剰な冗長性に悩まされる。
コンパクトな推論ステップを好んで, LRM をより効率的に推論するための RL フレームワークである textbfStep Pruner (SP) を導入する。
我々のステップアウェア報酬関数は、冗長なステップに対して罰則を課しながら正当性を優先し、誤った推論の強化を防ぐための誤った応答に対する報酬を控える。
論文 参考訳（メタデータ） (2025-10-04T13:24:26Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳（メタデータ） (2025-05-29T17:55:49Z) - Thinking Fast and Right: Balancing Accuracy and Reasoning Length with Adaptive Rewards [17.829990749622496]
大規模言語モデルに対する適応的な報酬形成手法を提案する。
本手法はモデルの性能に基づいて,精度と応答長のトレードオフを動的に調整する。
実験の結果,提案手法は精度を保ちながら推論時間を大幅に短縮することがわかった。
論文 参考訳（メタデータ） (2025-05-23T18:44:46Z) - Between Underthinking and Overthinking: An Empirical Study of Reasoning Length and correctness in LLMs [52.405085773954596]
大規模な言語モデル(LLM)は、単純な問題を克服し、不要に長いアウトプットを生成し、より難しいものを過小評価する傾向にある。
これは、モデルが問題の難しさを誤認し、応答長を適切に調整できないことを示唆している。
実験の結果, 許容精度を維持しつつ, 生成時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2025-04-30T18:48:06Z) - Critical Thinking: Which Kinds of Complexity Govern Optimal Reasoning Length? [72.70486097967124]
決定論的有限オートマトン(DFAs)を用いたフレームワークの定式化
正しい解を生成する確率が最大になるような推論トークンが最適に存在することを示す。
新たな問題に対する推論トークンの最適個数を予測し、最適でない回答をフィルタリングすることで、一貫した精度の向上が得られる。
論文 参考訳（メタデータ） (2025-04-02T17:45:58Z) - O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。
私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
論文 参考訳（メタデータ） (2025-01-22T01:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。