論文の概要: Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.11519v1
• Date: Thu, 08 Oct 2026 08:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 11:59:33.743681
• Title: Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards
• Title（参考訳）: 残酷なアドバンテージ: 生徒が指導するRLの指導
• Abstract要約: 残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。 さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。 Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
• 参考スコア（独自算出の注目度）: 8.349684624753847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) and on-policy distillation (OPD) have become two main paradigms for post-training reasoning models. RLVR gives each response a single outcome label, leaving the steps inside it without separate credit. OPD provides token-level guidance at student-visited prefixes, but its pointwise signal does not directly reflect the pattern of teacher--student disagreement across the vocabulary. Dense, unbounded log-ratio supervision can amplify the teacher's influence, yet a strong solver is not necessarily a suitable guide when the student's solution paths depart from the teacher's. We propose Residual Advantage (\RA{}), which treats the teacher--student probability residual as a bounded one-step reward, subtracts the corresponding state value under the student policy to form a standard advantage, and centers the result within each response before adding it to the verifier advantage. The guidance term has zero mean within each response, so the verifier advantage remains the response's mean label and the teacher only redistributes credit among the steps within it. \CoRA{} further updates a teacher LoRA with verifier advantages on the same scored student batch and uses the updated teacher in the next iteration's residual, adapting guidance to the student's attempts. With Qwen3-1.7B-Base and Qwen3-4B-Base students and a Qwen3-8B teacher, \RA{} combined with GRPO or REINFORCE++ improves the underlying sequence-advantage algorithm in all 24 comparisons on three mathematical benchmarks, raising macro Avg@8 by 1.7--3.6 points and Pass@8 by 3.9--6.3 points. Both combinations surpass teacher-only OPD, and \CoRA{} adds a further 1.0--1.5 Avg@8 points.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)とオンライン蒸留(OPD)は,学習後推論モデルの2つの主要なパラダイムとなっている。 RLVRはそれぞれのレスポンスに単一の結果ラベルを与え、ステップを別のクレジットなしで内部に残します。 OPDは、学生が訪問する接頭辞でトークンレベルのガイダンスを提供するが、そのポイントワイド信号は教師のパターンを直接反映していない。 厳密で非有界な対数比の監督は教師の影響力を増幅することができるが、生徒の解法が教師から離れて行くとき、強固な解法が必ずしも適切なガイドであるとは限らない。 本稿では,教師の残差を1段階の有界報酬として扱うResidual Advantage (\RA{})を提案する。 指導項は各応答内でゼロ平均を持つので、検証器の利点は応答の平均ラベルのままであり、教師はその中のステップの中でのみ信用を再分配する。 CoRA{} は教師 LoRA をさらに更新し、同じスコアの学生バッチ上で検証の利点を付与し、更新された教師を次のイテレーションの残余で使用して、生徒の試行に適応させる。 Qwen3-1.7B-Base と Qwen3-4B-Base の学生と Qwen3-8B の教師が GRPO や REINFORCE++ と組み合わされた \RA{} は、3つの数学ベンチマークの24個の比較で基礎となるシーケンスアドバンテージアルゴリズムを改善し、マクロ Avg@8 を 1.7--3.6 ポイント、パス@8 を 3.9--6.3 ポイント引き上げた。 どちらの組み合わせも教師のみのPDを超え、そして \CoRA{} はさらに 1.0-1.5 Avg@8 ポイントを追加する。

関連論文リスト

• DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation [8.1776750657211]
  検証可能な報酬を伴う強化学習(RLVR)は、相補的な結果レベルの監視を提供するが、疎い報酬と粗い信用割り当てに苦しむ。 教師信号は密集したローカルガイダンスを提供するが、ロールアウトの正しさに弱いのに対し、グループ相対報酬はタスク成功を捉えるが、トークンレベルクレジットは粗悪で、全障害グループでは消滅する。 DiffGateは,GRPOと選択的,有界な教師指導を組み合わせた学習目標である。
  論文  参考訳（メタデータ） (2026-10-03T15:33:21Z)
• When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
  Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。 emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。 emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
  論文  参考訳（メタデータ） (2026-09-23T16:58:26Z)
• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation [5.131753844398592]
  ViCuRは視覚的に接地された特権型蒸留フレームワークである。 答え側の特権を視覚的手がかりに置き換える。 答えに基づく自己蒸留よりも継続的に改善される。
  論文  参考訳（メタデータ） (2026-06-04T05:18:13Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。