論文の概要: CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization
- arxiv url: http://arxiv.org/abs/2607.25659v1
- Date: Tue, 28 Jul 2026 12:45:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.837489
- Title: CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization
- Title（参考訳）: CoRT:Token-Level Rubric-Guided Policy Optimizationのための対実的リプレイ
- Abstract要約: CoRTは、ルーリック条件のGRPOのトークンレベルクレジット重み付け手法である。
比較の結果,CoRTは一致した応答レベルGRPOよりも改善していることがわかった。
- 参考スコア（独自算出の注目度）: 21.755134237801443
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Rubric-based reinforcement learning enriches language model training by evaluating model outputs against explicit criteria. Yet in GRPO-style pipelines, these structured judgments are reduced to a scalar response-level reward and converted into a response-level advantage, which is broadcast uniformly to all generated tokens. This leaves no explicit mechanism for allocating credit within a response, even when different criteria are grounded in different spans, formatting decisions, or semantic choices. We propose CoRT, a token-level credit weighting method for rubric-conditioned GRPO. Instead of training an auxiliary token scoring model, CoRT uses counterfactual replay to rescore the same sampled response under the original rubric-conditioned prompt and a matched criteria-free prompt. The resulting tokenwise log-likelihood contrasts serve as a proxy for dependence on the rubric context. CoRT maps these contrasts to bounded, response-normalized weights and uses them to redistribute the signed GRPO advantage across tokens, without introducing an auxiliary scorer or changing the response-level reward. Experiments across instruction-tuned models and reward granularities show that CoRT improves over matched response-level GRPO in the vast majority of comparisons, with an average gain of 4.4 percentage points. The method remains competitive with learned token-level credit baselines while avoiding a separate relevance-learning stage. These results suggest that policy-internal counterfactual likelihood contrasts provide an effective training signal for within-response credit allocation while retaining the simplicity and stability of GRPO.
- Abstract（参考訳）: ルーブリックに基づく強化学習は、明示的な基準に基づいてモデル出力を評価することにより、言語モデルトレーニングを強化する。
しかし、GRPOスタイルのパイプラインでは、これらの構造化された判断はスカラーの応答レベル報酬に還元され、全ての生成されたトークンに均一にブロードキャストされる応答レベル優位性に変換される。
これは、異なる基準が異なるスパン、フォーマット決定、セマンティック選択に基礎を置いている場合でも、レスポンス内でクレジットを割り当てる明確なメカニズムを残さない。
ルーリック条件GRPOのトークンレベルクレジット重み付け手法であるCoRTを提案する。
補助トークンスコアリングモデルをトレーニングする代わりに、CoRTは反ファクトリプレイを使用して、元のルーリック条件のプロンプトと一致した基準のないプロンプトの下で同じサンプル応答をリスコアする。
結果として生じるトークン単位のログライクなコントラストは、ルーリックコンテキストへの依存のプロキシとして機能する。
CoRTはこれらのコントラストを、有界で応答正規化された重みにマッピングし、補助スコアを導入したり、応答レベルの報酬を変更することなく、トークン間で符号付きGRPOの利点を再分配する。
命令調整されたモデルと報酬の粒度による実験の結果、CoRTは一致した応答レベルGRPOよりも改善され、平均4.4ポイントが得られた。
この方法は、別の関連学習段階を避けながら、学習されたトークンレベルの信用ベースラインと競合し続けている。
これらの結果から,政策内部の反事実的可能性のコントラストは,GRPOの単純さと安定性を維持しつつ,クレジットアロケーションの効果的なトレーニング信号となることが示唆された。
関連論文リスト
- StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning [3.6795543408370466]
検証可能な報酬(RLVR)を用いた強化学習は,多モーダル推論を改善するための効果的なアプローチとして現れている。
プロセス報酬モデルはよりきめ細かいフィードバックを提供するが、通常は個別に訓練された検証、コストのかかる連鎖アノテーション、あるいは大規模な言語モデルによるオンライン判断に依存している。
我々はStructRewardを紹介した。StructRewardは、構造化されたステップレベルの報酬アライメントを通じて高密度の強化信号を提供する計算効率のフレームワークである。
論文 参考訳（メタデータ） (2026-08-08T20:29:32Z) - When Correct Solutions Repeat: Rarity-Aware Credit Redistribution for GRPO [25.979415525596007]
検証可能な報酬(RLVR)を用いた強化学習
我々は、この挙動を多重性による構造レベルの信用集中として定式化する。
Cue-GRPOは補助モデル推論でこのルールをインスタンス化する。
論文 参考訳（メタデータ） (2026-08-04T11:02:26Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - RUBRIC-ARROW: Alternating Pointwise Rubric Reward Modeling for LLM Post-training in Non-verifiable Domains [19.25508787530297]
RUBRIC-ARROWは、ルビリックジェネレータとルビリックコンディショナーを共同で訓練する交互フレームワークである。
提案手法では,確率に基づくスコアリングルールと,位相特異的な選好に基づく報酬との相関を低減し,ポイントワイド評価器を併用する交互GRPO方式を併用する。
論文 参考訳（メタデータ） (2026-05-27T22:46:25Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks [30.108876878365496]
強化学習(Reinforcement Learning, RL)は,大規模言語モデルと複雑なオープンドメイン命令を連携させる,有望なアプローチとして登場した。
既存の手法は主に応答レベルの報酬に依存しており、厳格な報酬の分散と報酬のあいまいさの問題を導入している。
粗い応答レベルスコアときめ細かいトークンレベルクレジット割り当てを橋渡しするルーブリックベースの新しいRLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T07:02:57Z) - Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。
我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。
OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2026-01-12T10:48:02Z) - Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。
ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。
本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
論文 参考訳（メタデータ） (2025-07-23T17:57:55Z) - Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。
提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
論文 参考訳（メタデータ） (2025-06-10T12:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。