論文の概要: Promoting Efficient Reasoning with Verifiable Stepwise Reward

• arxiv url: http://arxiv.org/abs/2508.10293v2
• Date: Sat, 16 Aug 2025 13:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 12:43:44.908144
• Title: Promoting Efficient Reasoning with Verifiable Stepwise Reward
• Title（参考訳）: ステップワイズ・リワードによる効率的な推論の促進
• Authors: Chuhuai Yue, Chengqi Dong, Yinan Gao, Hang He, Jiajun Chai, Guojun Yin, Wei Lin,
• Abstract要約: 大規模推論モデル(LRM)は近年、強化学習によって支援された複雑な推論タスクにおいて大きな進歩を遂げている。 LRMは、単純な問題に対する過度な計算を過度に行い、効率を低下させることにしばしば悩まされる。 本稿では,中間状態の推論軌道における性能に基づいて報酬を割り当てる,ルールベースで検証可能なステップワイド報酬機構(VSRM)を提案する。
• 参考スコア（独自算出の注目度）: 7.385337642642193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) have recently achieved significant progress in complex reasoning tasks, aided by reinforcement learning with verifiable rewards. However, LRMs often suffer from overthinking, expending excessive computation on simple problems and reducing efficiency. Existing efficient reasoning methods typically require accurate task assessment to preset token budgets or select reasoning modes, which limits their flexibility and reliability. In this work, we revisit the essence of overthinking and identify that encouraging effective steps while penalizing ineffective ones is key to its solution. To this end, we propose a novel rule-based verifiable stepwise reward mechanism (VSRM), which assigns rewards based on the performance of intermediate states in the reasoning trajectory. This approach is intuitive and naturally fits the step-by-step nature of reasoning tasks. We conduct extensive experiments on standard mathematical reasoning benchmarks, including AIME24 and AIME25, by integrating VSRM with PPO and Reinforce++. Results show that our method achieves substantial output length reduction while maintaining original reasoning performance, striking an optimal balance between efficiency and accuracy. Further analysis of overthinking frequency and pass@k score before and after training demonstrates that our approach in deed effectively suppresses ineffective steps and encourages effective reasoning, fundamentally alleviating the overthinking problem. All code will be released upon acceptance.
• Abstract（参考訳）: 大規模推論モデル (LRMs) は、検証可能な報酬を伴う強化学習によって支援され、近年、複雑な推論タスクにおいて大きな進歩を遂げている。 しかしながら、LEMは過度な計算を単純な問題に費やし、効率を低下させるという過度な考え方に悩まされることが多い。 既存の効率的な推論手法では、トークンの予算を予め設定したり、推論モードを選択するために正確なタスクアセスメントが必要で、柔軟性と信頼性が制限される。 本研究は, 有効でないステップを罰すると同時に, 効果的なステップを奨励することの重要性を再考し, その解決の鍵を握るものである。 そこで本研究では,中間状態の推論軌道における性能に基づいて報酬を割り当てる,ルールベースで検証可能なステップワイズ報酬機構(VSRM)を提案する。 このアプローチは直感的で、推論タスクのステップバイステップの性質に自然に適合します。 我々は、VSRMとPPOとReinforce++を統合することで、AIME24やAIME25を含む標準的な数学的推論ベンチマークに関する広範な実験を行う。 その結果,提案手法は,元の推論性能を維持しつつ,相当な出力長削減を実現し,効率と精度の最適バランスを達成できることが示唆された。 学習前後における過剰思考頻度とpass@kスコアのさらなる分析は、私たちの行動におけるアプローチが効果的でないステップを効果的に抑制し、効果的な推論を奨励し、過度な思考問題を根本的に緩和することを示します。 すべてのコードは受理時にリリースされる。

関連論文リスト

• AALC: Large Language Model Efficient Reasoning via Adaptive Accuracy-Length Control [18.273777938294327]
  大きな推論モデル(LRM)は、長いチェーン・オブ・シークレットを生成することで印象的な推論能力を達成する。 我々は、強化学習に組み込まれた軽量で精度の高い長さの報酬であるALCを紹介する。 提案手法は,元の精度を維持したり改善したりしながら,応答長を50%以上削減することを示す。
  論文  参考訳（メタデータ） (2025-06-25T06:29:18Z)
• Is Long-to-Short a Free Lunch? Investigating Inconsistency and Reasoning Efficiency in LRMs [8.359909829007005]
  大規模推論モデル(LRM)において,効率的な推論手法が行動の不整合をもたらすかどうかを検討する。 $ICBENCH$は、3次元にわたるLRMの不整合を測定するために設計されたベンチマークである。 より大きなモデルは一般的に小さなモデルよりも一貫性が高いが、すべてのモデルが広く「計画的」な振る舞いを示す。
  論文  参考訳（メタデータ） (2025-06-24T10:25:28Z)
• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
  本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-23T13:38:56Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。