論文の概要: CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.17733v1
• Date: Tue, 13 Oct 2026 05:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.52462
• Title: CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning
• Title（参考訳）: CoCA:ルール対応型強化学習のクレジットアサインメント
• Abstract要約: 本研究では,大規模言語モデルをオープンエンドタスクで学習するための基準付き信用割当(CoCA)を提案する。 CoCAは、グループ相対的な結果から基準レベルのクレジットを導き、基準によって引き起こされる分布シフトに基づいてトークンに割り当てる。 実証的に、CoCAは医学と科学のベンチマークで標準ルーリックベースのRLよりも平均+4.2%上昇している。
• 参考スコア（独自算出の注目度）: 28.604853439385025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based reinforcement learning (RL) evaluates responses against explicit criteria to construct rewards, offering a viable way to train large language models on open-ended tasks. However, standard methods compress criterion-level feedback into scalar rewards and assign uniform token advantages, leaving structured rubric supervision underutilized. Recent work seeks finer-grained guidance by treating rubrics as privileged information to derive self-distillation targets, but the resulting learning signal is not grounded in criterion outcomes and can lead to reward degradation. This motivates us to reframe the problem as criterion-aware credit assignment, where privileged rubric information serves as a relevance cue for credit allocation rather than a source of imitation targets. Accordingly, we propose CoCA, which derives criterion-level credits from group-relative outcomes and allocates them across tokens based on criterion-induced distribution shifts, yielding both outcome-grounded and fine-grained learning signals. Empirically, CoCA achieves an average gain of +4.2% over standard rubric-based RL across medicine and science benchmarks, demonstrating more effective learning on open-ended tasks.
• Abstract（参考訳）: ルーブリックベースの強化学習(RL)は、報酬を構築するための明確な基準に対する応答を評価し、オープンなタスクで大規模言語モデルをトレーニングする実行可能な方法を提供する。 しかし、標準的な方法では、基準レベルのフィードバックをスカラー報酬に圧縮し、均一なトークンの利点を割り当て、構造化されたルーリックの監督を未利用のままにしておく。 最近の研究は、潤滑剤を自己蒸留目標を導出するための特権情報として扱うことで、よりきめ細かいガイダンスを求めるが、その結果の学習信号は基準結果に基づかず、報酬の劣化につながる可能性がある。 特権付きルーリック情報は、模倣対象のソースではなく、クレジットアロケーションの関連キューとして機能します。 そこで,本研究では,グループ相対的な結果から基準レベルのクレジットを導出し,基準による分布シフトに基づいてトークン間を割り当てるCoCAを提案する。 実証的に、CoCAは医学や科学のベンチマークで標準ルーリックベースのRLよりも平均+4.2%向上し、オープンエンドタスクにおけるより効果的な学習を実証している。

関連論文リスト

• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• Group-Marginalized Self-Rewarding RL Drives Zero-Label Self-Evolving [62.33493070202355]
  自己回帰強化学習は、大きな言語モデルが人間のラベルなしで自己進化することを可能にする。 Group-Marginalized Advantage Estimation (GMAE) は、可能なコンテキストにわたる報酬実現を応答レベルの分布に集約する。 GMAEはまた、トレーニングデータセットとRLバックボーン間で安定した学習、低コスト、適切な適用性を示している。
  論文  参考訳（メタデータ） (2026-09-29T05:20:51Z)
• RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking [13.774317167730553]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコードなど、明確に定義された正当性信号を持つタスクから、多次元ルーリックによって定義された多面的品質要件へと拡張されている。 本稿では,ルーリックベースRLVRのランキングパラダイムであるRLVR$2$を提案する。 各基準に対して、RLVR$2$はルーブリックスコアを基準固有のグループ内順序結果に変換し、結果の比較行列から潜在ユーティリティを回復し、これらのユーティリティを1つのトレーニング信号にマージする。
  論文  参考訳（メタデータ） (2026-09-20T08:34:28Z)
• CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization [21.755134237801443]
  CoRTは、ルーリック条件のGRPOのトークンレベルクレジット重み付け手法である。 比較の結果,CoRTは一致した応答レベルGRPOよりも改善していることがわかった。
  論文  参考訳（メタデータ） (2026-07-28T12:45:19Z)
• Enhancing Rubric-based RL via Self-Distillation [23.111278687216544]
  本稿では, ルブリックをベースとしたRLをオンライン自己蒸留により強化するCriPO(Criterion-Distilled Policy Optimization)を提案する。 CriPOはルーブリックベースのRLを一貫して上回り、最適化手順を減らした約2ドルで、より強力な最終性能を実現している。
  論文  参考訳（メタデータ） (2026-07-20T15:50:02Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
  我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。 数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
  論文  参考訳（メタデータ） (2026-06-17T08:26:02Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。