論文の概要: Self-Aligned Reward: Towards Effective and Efficient Reasoners

• arxiv url: http://arxiv.org/abs/2509.05489v1
• Date: Fri, 05 Sep 2025 20:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.538382
• Title: Self-Aligned Reward: Towards Effective and Efficient Reasoners
• Title（参考訳）: 自己調整型リワード:効果的で効率的なリゾネータを目指して
• Authors: Peixuan Han, Adit Krishnan, Gerald Friedland, Jiaxuan You, Chris Kong,
• Abstract要約: 自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。 SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
• 参考スコア（独自算出の注目度）: 16.740993145927774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards has significantly advanced reasoning in large language models (LLMs), but such signals remain coarse, offering only binary correctness feedback. This limitation often results in inefficiencies, including overly verbose reasoning and high computational cost, while existing solutions often compromise accuracy. To address this, we introduce self-aligned reward (SAR), a self-guided signal that complements verifiable rewards to encourage both reasoning accuracy and efficiency. SAR is defined as the relative perplexity difference between an answer conditioned on the query and the standalone answer, thereby favoring responses that are concise and query-specific. Quantitative analysis reveals that SAR reliably distinguishes answer quality: concise, correct answers score higher than redundant ones, and partially correct answers score higher than entirely incorrect ones. Evaluation on 4 models across 7 benchmarks shows that integrating SAR with prevalent RL algorithms like PPO and GRPO improves accuracy by 4%, while reducing inference cost by 30%. Further analysis demonstrates that SAR achieves a Pareto-optimal trade-off between correctness and efficiency compared to reward signals based on length or self-confidence. We also show that SAR shortens responses while preserving advanced reasoning behaviors, demonstrating its ability to suppress unnecessary elaboration without losing critical reasoning. These results highlight the promise of self-aligned reward as a fine-grained complement to verifiable rewards, paving the way for more efficient and effective LLM training.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、大きな言語モデル(LLM)においてかなり高度な推論がなされているが、そのような信号は粗いままであり、バイナリの正当性フィードバックのみを提供する。 この制限はしばしば、過度に冗長な推論と高い計算コストを含む非効率をもたらすが、既存の解はしばしば精度を損なう。 そこで我々は,自己整合報酬(Self-aligned reward, SAR)を導入し, 検証可能な報酬を補完し, 推論精度と効率性を両立させる。 SARは、クエリに条件付された回答とスタンドアロンの回答との相対的な難易度差として定義され、簡潔でクエリ固有な応答が好まれる。 定量的分析により、SARは、正確さ、正解スコアが冗長性よりも高いこと、正解スコアが完全誤解よりも高いこと、など、解答品質を確実に区別していることが明らかとなった。 7つのベンチマークで4つのモデルを評価すると、PPOやGRPOといったRLアルゴリズムとSARを統合することで、推論コストを30%削減しつつ、精度を4%向上することが示された。 さらに分析したところ、SARは、長さや自己自信に基づく報酬信号と比較して、正確性と効率性の間のパレート最適トレードオフを達成することが示された。 また,SARは高度な推論行動を維持しながら応答を短縮し,重要な推論を損なうことなく不必要な実験を抑える能力を示した。 これらの結果は、検証可能な報酬をきめ細かな補完として自己整合報酬を約束することを強調し、より効率的かつ効果的なLLMトレーニングへの道を開いた。

関連論文リスト

• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• AALC: Large Language Model Efficient Reasoning via Adaptive Accuracy-Length Control [18.273777938294327]
  大きな推論モデル(LRM)は、長いチェーン・オブ・シークレットを生成することで印象的な推論能力を達成する。 我々は、強化学習に組み込まれた軽量で精度の高い長さの報酬であるALCを紹介する。 提案手法は,元の精度を維持したり改善したりしながら,応答長を50%以上削減することを示す。
  論文  参考訳（メタデータ） (2025-06-25T06:29:18Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
  大規模言語モデル(LLM)は複雑な推論において非常に有望である。 一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。 本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-05-19T17:59:31Z)
• Search-Based Correction of Reasoning Chains for Language Models [72.61861891295302]
  CoT(Chain-of-Thought)推論は言語モデル(LM)の機能と透明性を向上した。 我々はCoTにおける各推論ステップを、その正確性を示す潜在変数で拡張する新しい自己補正フレームワークを導入する。 また,離散探索アルゴリズムであるサーチコレクタも導入した。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Rationale-Aware Answer Verification by Pairwise Self-Evaluation [11.763229353978321]
  信頼性のある検証器の訓練には,最終回答の正しさに加えて,有理数の有効性の確保が必要であることを示す。 本結果から, 信頼性検証には, 正解の正確性に加えて, 有理数の有効性の確保が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T08:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。