論文の概要: Beyond Correctness: Confidence-Aware Reward Modeling for Enhancing Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2511.07483v1
• Date: Wed, 12 Nov 2025 01:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.357732
• Title: Beyond Correctness: Confidence-Aware Reward Modeling for Enhancing Large Language Model Reasoning
• Title（参考訳）: 正確性を超えて: 大規模言語モデル推論の強化のための信頼を意識したリワードモデリング
• Authors: Qianxi He, Qingyu Ren, Shanzhe Lei, Xuhong Wang, Yingchun Wang,
• Abstract要約: 本稿では,STEM推論能力の向上を目的とした,信頼度に基づく新たな報酬モデルを提案する。 従来の手法とは異なり,本モデルでは,誤った回答だけでなく,信頼性の低い応答もペナルティ化している。 提案手法の有効性を静的評価,Best-of-N推論テスト,PPOベースのRLトレーニングを用いて検証した。
• 参考スコア（独自算出の注目度）: 13.228177497050567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models (LLMs) have shifted the post-training paradigm from traditional instruction tuning and human preference alignment toward reinforcement learning (RL) focused on reasoning capabilities. However, numerous technical reports indicate that purely rule-based reward RL frequently results in poor-quality reasoning chains or inconsistencies between reasoning processes and final answers, particularly when the base model is of smaller scale. During the RL exploration process, models might employ low-quality reasoning chains due to the lack of knowledge, occasionally producing correct answers randomly and receiving rewards based on established rule-based judges. This constrains the potential for resource-limited organizations to conduct direct reinforcement learning training on smaller-scale models. We propose a novel confidence-based reward model tailored for enhancing STEM reasoning capabilities. Unlike conventional approaches, our model penalizes not only incorrect answers but also low-confidence correct responses, thereby promoting more robust and logically consistent reasoning. We validate the effectiveness of our approach through static evaluations, Best-of-N inference tests, and PPO-based RL training. Our method outperforms several state-of-the-art open-source reward models across diverse STEM benchmarks. We release our codes and model in https://github.com/qianxiHe147/C2RM.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、推論能力に重点を置く強化学習(RL)へ、従来の指導チューニングや人間の嗜好調整からポストトレーニングパラダイムへと移行している。 しかし、多くの技術的報告は、純粋にルールベースの報酬RLは、特にベースモデルがより小さい場合、推論プロセスと最終回答の間の品質の悪い推論連鎖や矛盾をもたらすことをしばしば示している。 RL探索プロセスの間、モデルは知識の欠如のために低品質な推論連鎖を使用し、時にはランダムに正しい答えを導き、確立された規則に基づく判断に基づいて報酬を受け取る。 これにより、リソース限定の組織が小規模モデルで直接強化学習トレーニングを行う可能性を制限することができる。 本稿では,STEM推論能力の向上を目的とした,信頼度に基づく新たな報酬モデルを提案する。 従来の手法とは異なり,本モデルでは,不正確な回答だけでなく,信頼性の低い応答もペナルティ化しているため,より堅牢で論理的に整合性のある推論が促進される。 提案手法の有効性を静的評価,Best-of-N推論テスト,PPOベースのRLトレーニングを用いて検証した。 提案手法は,様々なSTEMベンチマークにおいて,最先端のオープンソース報酬モデルよりも優れている。 私たちはコードとモデルをhttps://github.com/qianxiHe147/C2RMでリリースしています。

関連論文リスト

• You Need Reasoning to Learn Reasoning: The Limitations of Label-Free RL in Weak Base Models [12.14455026524814]
  限定的な推論能力を持つベースモデルに対するラベルフリーなRLアプローチの一般化可能性について検討する。 ラベルのないRLは,既存の推論能力に大きく依存していることがわかった。 本稿では,カリキュラム学習を利用して難解な問題を段階的に導入するラベルフリーRLの簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-11-07T01:05:11Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• From Accuracy to Robustness: A Study of Rule- and Model-based Verifiers in Mathematical Reasoning [41.02508512078575]
  数理推論をケーススタディとして、静的評価とRLトレーニングのシナリオの両方において、様々な検証を包括的に分析する。 まず、現在のオープンソースルールベースの検証器は、異なるフォーマットで提示された同等の回答を認識できないことが多く、無視できない偽陰性率をもたらす。 これらの制約に対処するための潜在的な解決策としてモデルベース検証について検討する。
  論文  参考訳（メタデータ） (2025-05-28T10:28:41Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。