論文の概要: RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.17623v1
• Date: Tue, 13 Oct 2026 02:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.493986
• Title: RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning
• Title（参考訳）: RELAY:ゴム系強化学習のための適応的ハンドオフによる選択的自己蒸留
• Abstract要約: 選択蒸留とGRPOが教員効果に及ぼす影響について検討した。 ステージ1は凍った教師からの選択的蒸留とGRPOを結合し、プラトー検出器が教師を除去し、ステージ2はGRPO単独で継続する。 Qwen3-1.7B/Medicineでは、共有チェックポイントから教師を取り除くと、保持、弱め、またはリフレッシュする。
• 参考スコア（独自算出の注目度）: 19.994058746299807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubric-based reinforcement learning grades a response against many written criteria but collapses them into one reward, which discards the detail the rubric carries and gives no GRPO reward gradient when a group's responses tie. A frozen teacher that reads the rubric as privileged context provides token-level supervision, but we observe an early plateau in the gains over GRPO. RELAY uses advantages and rewards to select positive-advantage and low-scoring zero-advantage rollouts, and monitors the distillation loss to decide when to retire the teacher. Stage 1 combines selective distillation from a frozen teacher with GRPO; a plateau detector then removes the teacher, and Stage 2 continues with GRPO alone. Calibrated on one model-domain pair and reused unchanged in three others, the plateau detector fires between steps 122 and 171. RELAY scores highest in-domain among the compared methods in all four settings, ahead of GRPO on RaR-Medicine by 4.62 points with Qwen3-1.7B and 6.02 with Qwen3-4B. On Qwen3-1.7B/Medicine, removing the teacher from a shared checkpoint outperforms keeping, weakening or refreshing it. Distilling selected rollouts covering about half the response tokens also outperforms distilling all rollouts at a matched average coefficient.
• Abstract（参考訳）: ルーブリックに基づく強化学習は、多くの記述された基準に対して応答を格付けするが、それらを1つの報酬に分解し、ルーブリックが持つ詳細を破棄し、グループの応答が一致したときにGRPO報酬勾配を与えない。 ルーブリックを特権的文脈として読む凍結教師はトークンレベルの監督を提供するが、GRPOに対する利得の早期高原を観察する。 RELAYは、ポジティブアドバンテージとロースコアゼロアドバンテージのロールアウトを選択するためにアドバンテージと報酬を使用し、蒸留損失を監視し、いつ教師を引退するかを決定する。 ステージ1は凍った教師からの選択的蒸留とGRPOを結合し、プラトー検出器が教師を除去し、ステージ2はGRPO単独で継続する。 1つのモデルドメイン対に校正され、他の3つのモデルドメインで再利用されなかったプラトー検出器はステップ122から171の間で点火した。 RELAYは、RaR-MedicineのGRPOよりも4.62ポイント、Qwen3-1.7B、Qwen3-4Bの6.02よりも、全ての4つの設定で比較された手法の中で最も高いドメイン内得点を達成している。 Qwen3-1.7B/Medicineでは、共有チェックポイントから教師を取り除くと、保持、弱め、またはリフレッシュする。 約半数の応答トークンを含む蒸留されたロールアウトは、一致した平均係数で全てのロールアウトを蒸留する性能も向上する。

関連論文リスト

• Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
  残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。 さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。 Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
  論文  参考訳（メタデータ） (2026-10-08T08:52:55Z)
• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
  Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。 emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。 emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
  論文  参考訳（メタデータ） (2026-09-23T16:58:26Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning [19.29382518431932]
  GC-OPD (Group-Calibrated On-Policy Distillation) は、強力な教師から高濃度のトークンレベルガイダンスを用いて生徒に独自の反応を訓練する。 GC-OPD(Group-Calibrated On-Policy Distillation)は、各ロールアウトグループ内の検証報酬と軌道レベルのPDスコアを正規化する。 相対アドバンテージベースの信用割当(RACA)は、相対的なOPDの利点に応じてトークン間でこの軌道レベルの残差を分配する。
  論文  参考訳（メタデータ） (2026-08-19T17:54:58Z)
• Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation [7.296659715681798]
  検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。 SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
  論文  参考訳（メタデータ） (2026-08-10T16:43:18Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。