論文の概要: Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards
- arxiv url: http://arxiv.org/abs/2606.22716v1
- Date: Sun, 21 Jun 2026 23:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 07:20:00.807481
- Title: Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards
- Title（参考訳）: ペナライズミスを克服する - 適応的修正オンリーリワードによる大規模推論モデルにおける効率トレーニングの安定化
- Authors: Jungseob Lee, Seungyoon Lee, Seongtae Hong, Minhyuk Kim, Chanjun Park, Heuiseok Lim,
- Abstract要約: グループ相対政策最適化(GRPO)は、冗長性を減らすことを目的としている。
GRPOの群正規化は、誤った答えが連続的な長さのペナルティを受けるとき、異なる利点を生み出す。
両障害モードを確実に防止するために,ACOERを提案する。
- 参考スコア（独自算出の注目度）: 33.82648880607807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training large language models to reason efficiently is a critical challenge. While integrating length-penalizing rewards into Group Relative Policy Optimization (GRPO) aims to reduce verbosity, it frequently triggers reward collapse, severely degrading reasoning capabilities. Through a systematic evaluation of various reward configurations, we identify the root mechanism: GRPO's group normalization creates divergent advantages when incorrect answers receive continuous length penalties. Consequently, methods penalizing the length of incorrect answers are structurally prone to collapse under sustained optimization. Furthermore, restricting penalties exclusively to correct answers avoids this primary failure, but leaves the model susceptible to a stochastic collapse driven by response over-compression. To robustly prevent both failure modes, we propose ACOER (Adaptive Correct-Only Efficiency Reward). ACOER eliminates the structural penalty loop by isolating brevity bonuses to correct completions and prevents stochastic compression via dynamic budget normalization and control-loop penalty adjustments. Evaluated across diverse mathematical reasoning benchmarks, ACOER improves overall accuracy compared to the base model while reducing token generation by over 60%, establishing a fundamentally stable approach for efficiency-aware optimization.
- Abstract（参考訳）: 大規模言語モデルを効率的に推論するように訓練することは、非常に難しい課題です。
Group Relative Policy Optimization (GRPO) に長額報酬を組み込むことは、冗長性を減らすことを目的としているが、報酬の崩壊を頻繁に引き起こし、推論能力を著しく低下させる。
GRPOの群正規化は、誤った答えが連続的な長さのペナルティを受けると、異なる利点を生み出す。
その結果、不正確な回答の長さをペナル化する方法は、持続的な最適化の下で構造的に崩壊しがちである。
さらに、答えを正すためにのみ罰則を制限することは、この第一の失敗を避けるが、応答過剰圧縮によって引き起こされる確率的崩壊の影響を受けやすいモデルを残している。
ACOER(Adaptive Correct-Only Efficiency Reward)を提案する。
ACOERは、補修ボーナスを分離することで構造的ペナルティループを排除し、動的予算正規化と制御ループペナルティ調整による確率的圧縮を防止する。
様々な数学的推論ベンチマークで評価され、ACOERはトークン生成を60%以上削減し、ベースモデルと比較して全体的な精度を改善し、効率を意識した最適化の基本的な安定なアプローチを確立した。
関連論文リスト
- CLORE: Content-Level Optimization for Reasoning Efficiency [25.563467006637833]
そこで本稿では,適切なオンラインロールアウトを編集することで推論効率を向上させるコンテントレベルの最適化フレームワークを提案する。
CLOREは、外部拡張モデルを使用して、繰り返しセグメント、不可解またはタスク非関連コンテンツ、そしてソリューションが確立された後の過剰な推論を削除します。
実験の結果、CLOREは精度-効率トレードオフを改善し、GRPO、DAPO、Training Efficient、ThinkPruneと互換性を保っています。
論文 参考訳（メタデータ） (2026-05-21T09:16:27Z) - Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models [24.128148876541783]
OpenAI o1やDeepSeek-R1のような大きな推論モデルは、推論能力が向上するにつれて、次第に冗長になりがちである。
これらの拡張されたChain-of-Length trajectories(CoT)は、根底にある問題、無駄な計算、レイテンシ、コンテキスト予算を超えることが多い。
静的をオンラインの自己適応機構に置き換える手法であるLEAD(Thought-Efficient Adaptive and Dynamic reasoning)を提案する。
論文 参考訳（メタデータ） (2026-05-10T23:05:02Z) - Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。
GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。
それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
論文 参考訳（メタデータ） (2026-03-11T08:41:34Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - WS-GRPO: Weakly-Supervised Group-Relative Policy Optimization for Rollout-Efficient Reasoning [67.45237332694025]
グループ相対政策最適化は、複雑な推論に基づいて言語モデルを訓練するのに効果的である。
Weakly Supervised GRPOを提案し、端末報酬を正当性を考慮したガイダンスに変換することにより、ロールアウト効率を向上させる。
論文 参考訳（メタデータ） (2026-02-19T02:43:35Z) - Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。
より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。
近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
論文 参考訳（メタデータ） (2026-02-13T02:13:45Z) - DRPO: Efficient Reasoning via Decoupled Reward Policy Optimization [37.96314154235252]
本稿では,正しいロールアウトの時間に基づく学習信号を,不正なロールアウトから切り離す新しいフレームワークを提案する。
1.5Bモデルでは,単純な質問に対して1.1%の性能損失しか得られず,77%の長さ削減を実現している。
論文 参考訳（メタデータ） (2025-10-06T04:18:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。