論文の概要: OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.02781v1
• Date: Fri, 02 Oct 2026 04:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.204892
• Title: OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation
• Title（参考訳）: RLより前のPD: オンポリシリ蒸留による温度上昇型ゴム系RL
• Abstract要約: 本稿では,高密度トークンレベル管理のための特権教師コンテキストとしてルーブリックを使用し,さらにRLに報奨を与えるための2段階のトレーニングフレームワークを提案する。 第1段階では、ルーブリック・プライベート・オン・ポリシス蒸留(RP-OPD)と呼ばれる、ルーブリックへのアクセスのない学生が、ルーブリックを意識した教師の次のトーケン分布と一致する。 オープンウェイトモデルを用いて,健康・科学課題の枠組みを評価する。
• 参考スコア（独自算出の注目度）: 14.593777152409638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many useful language-model tasks cannot be evaluated by exact outcome verification. Rubric-based reinforcement learning (RL) addresses this issue by scoring open-ended responses against explicit criteria. However, because the reward is assigned after the complete response, the training signal does not directly identify which individual decisions contributed to the final score. We propose a two-stage training framework that uses rubrics first as privileged teacher context for dense token-level supervision, then as rewards for further RL. In the first stage, rubric-privileged on-policy distillation (RP-OPD), a student without access to the rubric matches a rubric-aware teacher's next-token distributions at student-generated prefixes. In the second stage, RL directly optimizes the rubric reward and improves beyond the observed distillation plateau. We evaluate the framework on health and science tasks using open-weight models. Across HealthBench, ResearchQA, and RubricHub Science, we compare post-training methods and vary the amount of SFT or RP-OPD training before RL, finding that our two-stage framework achieves the highest scores among the methods evaluated. RP-OPD + RL shows limited signs of reward hacking on RubricHub Science, whereas the SFT + RL baseline increasingly receives high rewards for claims of rubric compliance without providing the required content. These findings support using rubrics to guide on-policy distillation before applying rubric-based RL.
• Abstract（参考訳）: 多くの有用な言語モデルタスクは、正確な結果検証では評価できない。 ルーブリックに基づく強化学習(RL)は、明示的な基準に対してオープンな応答を評価することでこの問題に対処する。 しかし、報酬は完全な応答後に割り当てられるため、トレーニング信号は最終スコアに寄与する個々の決定を直接識別しない。 本稿では,高密度トークンレベル管理のための特権教師コンテキストとしてルーブリックを使用し,さらにRLに報奨を与えるための2段階のトレーニングフレームワークを提案する。 第1段階では、ルーブを使わない学生であるルーブリック民営オンポリス蒸留(RP-OPD)が、学生生成プレフィックスにおけるルーブリック教師の次のトーケン分布と一致する。 第2段階では、RLは直接ルーブリック報酬を最適化し、観察された蒸留台地を超えて改善する。 オープンウェイトモデルを用いて,健康・科学課題の枠組みを評価する。 また,HealthBench,ResearchQA,RubricHub Science全体で,学習後の学習方法を比較し,RLの前にSFTやRP-OPDの学習量を変動させることで,評価した手法のうち,2段階のフレームワークが最も高いスコアを達成できることがわかった。 RP-OPD + RL は RubricHub Science 上での報酬のハッキングの兆候が限られているのに対して、 SFT + RL ベースラインは、要求されたコンテンツを提供することなく、ルーリックコンプライアンスの要求に対して高い報酬を受け取るようになっている。 これらの知見は, ルブリックをベースとしたRLを適用する前に, ルブリックを用いてオンライン蒸留を誘導する。

関連論文リスト

• RL Starts before RL: On Policy Distillation for Better Reinforcement Learning [57.705005126006085]
  強化学習(RL)は推論を改善するが、その性能は学習開始の方針に依存する。 RLの調製段階としての政治蒸留(OPD)について検討した。 OPDの学生は、直接RLや教師付き微調整の訓練を受けた生徒よりも高い最終成績を得た。
  論文  参考訳（メタデータ） (2026-09-23T14:03:46Z)
• Demystifying Reinforcement Learning Post-Training of Language Models [32.79823433295599]
  強化学習(RL)ポストトレーニングは,大規模言語モデル(LLM)の能力向上のための強力なフレームワークとして登場した。 しかし、多くの研究者や実践者にとって、古典的RLの背後にある原則は「ブラックボックス」のままである。
  論文  参考訳（メタデータ） (2026-08-24T18:39:45Z)
• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。