論文の概要: Step-wise Rubric Rewards for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2605.17291v1
• Date: Sun, 17 May 2026 07:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.833692
• Title: Step-wise Rubric Rewards for LLM Reasoning
• Title（参考訳）: LLM推論のためのステップワイドルーブリックリワード
• Authors: Weichu Xie, Haozhe Zhao, Wenpu Liu, Yongfu Zhu, Liang Chen, Minghao Ye, Zirong Chen, Yuqi Xu, Shuai Dong, Ziyue Wang, Xinbo Xu, Kean Shi, Ruoyu Wu, Xiaoying Zhang, Wenqi Shao, Baobao Chang, Nan Duan, Jiaqi Wang,
• Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
• 参考スコア（独自算出の注目度）: 72.17879367869503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) is widely used to improve reasoning in large language models, but rewards only final-answer correctness with no supervision over intermediate steps. Rubric-based methods such as Rubrics as Rewards (RaR) introduce finer-grained supervision by scoring rollouts against structured criteria, yet the rubric scores are still aggregated into a single scalar applied to the entire response, causing three weaknesses: loss of multi-criterion structure, uniform supervision of correct and incorrect steps, and reward hacking through unbounded self-correction. On 1,000 problems, we find 18.2% of steps in correct-answer responses are wrong yet positively rewarded, while 49.9% of steps in incorrect-answer responses are correct yet penalized. We introduce Step-wise Rubrics as Rewards (SRaR), an RLVR framework that (i) uses an LLM judge to attribute each rubric item to a specific reasoning step, (ii) normalizes per-step rubric scores across rollouts so only steps whose quality varies produce a learning signal, and (iii) combines the per-step reward with the outcome reward through a decoupled advantage estimator that keeps the outcome baseline stable. We further build a 16K-problem rubric dataset by contrastively distilling rubric items from correct and flawed reasoning paths sampled from a strong model. Across six mathematical reasoning benchmarks, SRaR improves average accuracy over RaR by 3.57 points on Qwen3-8B and 2.75 points on Qwen3-32B, raises the Faithful Reasoning Rate on AIME 2025 from 34.5% to 46.7%, and reduces self-correction looping from 48.1% to 26.5%.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は、大規模言語モデルにおける推論を改善するために広く用いられているが、中間ステップを監督することなく最終回答の正しさに報酬を与える。 Rubrics as Rewards (RaR) のようなルーブリックベースの手法は、構造化された基準に対してロールアウトをスコアリングすることでよりきめ細かい監督を導入するが、ルーブリックスコアは、応答全体に適用される単一のスカラーに集約され、3つの弱点を引き起こす。 1000の問題については、正解応答の18.2%が間違っているが、正解応答の49.9%が正解でない。 RLVRフレームワークであるStep-wise Rubrics as Rewards(SRaR)を紹介する。 i) LLM 判定器を使用して各ルーブリックアイテムを特定の推論ステップに属性付けする。 (二)ロールアウト毎にルーリックスコアを正規化することにより、品質が異なるステップだけが学習信号を生成する。 (iii)段階ごとの報酬と結果報酬とを、結果ベースラインを安定に保つ疎結合の利便推定器を通じて組み合わせる。 さらに, 強いモデルから抽出した正解および欠陥推理経路を対比して, 16K-problem rubric データセットを構築した。 6つの数学的推論ベンチマークで、SRaRはQwen3-8Bで3.57点、Qwen3-32Bで2.75点、AIME 2025でFhithful Reasoning Rateを34.5%から46.7%に引き上げ、自己補正ループを48.1%から26.5%に削減した。

関連論文リスト

• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks [17.117706938140078]
  本稿では,分解フィルタサイクル上に構築された潤滑精製の原理的フレームワークRDを提案する。 RRDは粗いルブリックをきめ細かな識別基準に分解し、カバー範囲を広げ、応答間の分離を鋭くする。 評価とトレーニングの両方で、大きく、一貫した利益をもたらします。
  論文  参考訳（メタデータ） (2026-02-04T23:16:09Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models [52.32146943039743]
  人間のフィードバックからの強化学習は、生成モデルと人間の美学と知覚的嗜好を高度に一致させる。 MapReduce LoRA と Reward-aware Token Embedding (RaTE) の2つの補完手法を紹介する。 我々のフレームワークは、モダリティにまたがる新しい最先端のマルチ参照アライメントのレシピを定めている。
  論文  参考訳（メタデータ） (2025-11-25T18:49:21Z)
• Curing Miracle Steps in LLM Mathematical Reasoning with Rubric Rewards [40.905635870672945]
  数学的推論のための大きな言語モデルは、通常結果に基づく報酬で訓練される。 我々の実験では、このパラダイムがハッキングに報酬を与える可能性が高く、モデルの推論能力のかなりの過大評価につながります。 これは、偽陽性の頻度が高いことが証明されている。
  論文  参考訳（メタデータ） (2025-10-09T04:30:45Z)
• RoRecomp: Enhancing Reasoning Efficiency via Rollout Response Recomposition in Reinforcement Learning [45.850748558862364]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)における複雑な推論を導くのに有効であることが証明された。 本稿では,学習データを戦略的に再コンパイルすることで,モデルから簡潔な推論へ導くプラグイン・アンド・プレイ手法であるRoRecompを提案する。
  論文  参考訳（メタデータ） (2025-09-30T08:54:38Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。