論文の概要: Rubric Curriculum RL: Exploiting the Generation-Verification Gap in Non-Verifiable Domains

• arxiv url: http://arxiv.org/abs/2611.06244v1
• Date: Wed, 04 Nov 2026 09:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.047834
• Title: Rubric Curriculum RL: Exploiting the Generation-Verification Gap in Non-Verifiable Domains
• Title（参考訳）: ルーブリックカリキュラムRL:不検証領域における生成検証ギャップの爆発
• Abstract要約: 検証可能な報酬による強化学習は、数学とコード生成に大きな進歩をもたらした。 優れたアウトプットの判断が生産よりも容易であるジェネレーション検証のギャップは、改善への潜在的経路を提供する。 RL Curriculum(RcRL)を導入し、新しいデータ、人間のアノテーション、より強力な教師モデルなしでこのギャップを利用する。
• 参考スコア（独自算出の注目度）: 25.801903685293762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has led to significant gains in math and code generation. Extending these gains to open-ended domains remains challenging: ground-truth verification is unavailable, human annotation is expensive, and learned reward models are prone to reward hacking. The generation-verification gap, where judging good outputs is easier than producing them, offers a potential path to improvement. However, rubric-based judges are often imprecise and stationary, so policies can overfit or reward hack them. We introduce Rubric Curriculum RL (RcRL), which exploits this gap without new data, human annotations, or stronger teacher models. We combine pairwise preferences over rollouts with a curriculum over rubric criteria, yielding a more discriminative signal than absolute scoring and a non-stationary objective. Whereas baselines plateau within a few hundred steps, RcRL preserves output entropy and keeps improving past 1000 steps. On creative writing, RcRL achieves a 70.5% human win rate against the base model, with gains across benchmarks and judges. On HealthBench, RcRL improves over the base model by 14.6% (full set) and 25.4% (consensus subset), outperforming all training baselines, including instance-specific rubrics.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、数学とコード生成に大きな進歩をもたらした。 地道な検証は不可能であり、人間のアノテーションは高価であり、学習された報酬モデルはハッキングに報いる傾向があります。 優れたアウトプットの判断が生産よりも容易であるジェネレーション検証のギャップは、改善への潜在的経路を提供する。 しかし、ルーリックベースの審査員は、しばしば不正確で静止しているため、ポリシーはハッカーに過度に適合したり、報酬を与えることができる。 我々は、新しいデータ、人間のアノテーション、より強力な教師モデルなしでこのギャップを利用するRubric Curriculum RL(RcRL)を紹介する。 ロールアウトよりもペアワイズな選好と、ルーブリックな基準よりもカリキュラムを組み合わせ、絶対的なスコアと非定常的な目標よりも識別的な信号が得られる。 RcRLは数百歩以内の台地をベースにしているのに対して、出力エントロピーを保ち、1000歩を超える改善を維持している。 クリエイティブな書き込みでは、RcRLはベースモデルに対して70.5%の人的勝利率を達成し、ベンチマークや審査員の間で利得を得ている。 HealthBenchでは、RcRLはベースモデルを14.6%(フルセット)と25.4%(コンセンサスサブセット)で改善し、インスタンス固有のルーリックを含むすべてのトレーニングベースラインを上回っている。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations [46.90253276172931]
  本稿では,人間による実演からの学習信号を用いて,検証可能な報酬を増大させる逆生成・差別化フレームワークを提案する。 提案手法は,RLVRの精度向上を保ちながら,不検証特性を常に改善する。 バグ修正では,RLVRベースラインに比べて編集距離が大幅に低い。
  論文  参考訳（メタデータ） (2026-07-01T17:13:35Z)
• GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero [15.236247092411164]
  ポストトレーニングは、大きな言語モデルの能力をアンロックするための重要なステップになっている。 オープンエンド環境における小さな相互作用の集合からスクラッチから学習したRLHFの一般化能力について検討した。 提案手法は,数学的推論やコード生成といった下流タスクに暗黙的に移行できるかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-14T23:05:23Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。 ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。 本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:55Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。