論文の概要: Reward-Aligned Distillation

• arxiv url: http://arxiv.org/abs/2610.14572v1
• Date: Sat, 10 Oct 2026 04:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:52:34.835047
• Title: Reward-Aligned Distillation
• Title（参考訳）: Reward-Aligned Distillation
• Abstract要約: Reward-Aligned Distillation weights signals based on predict effect on the post-update reward。 RADは6つの競合候補ベンチマークの平均精度を最強のベースラインよりも向上させる。 単純化されたRAD-Simpleは、同じトレーニングとレスポンスの予算で同等の計算精度を達成している。
• 参考スコア（独自算出の注目度）: 16.014147554503495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards improves the reasoning capabilities of large language models, but remains computationally expensive and sample inefficient. On-policy distillation (OPD) provides dense token-level supervision from a stronger teacher, yet standard OPD distills every token regardless of whether the teacher's preference actually improves task reward. Existing token-selection methods rely on proxies such as uncertainty or teacher--student divergence, which need not identify reward-improving supervision. We introduce Reward-Aligned Distillation (RAD), a bilevel framework that weights distillation signals based on their predicted effect on the student's post-update reward. RAD differentiates through a temporary optimizer step to score each token's supervision, then updates the token weights by projected ascent from the initial token weights. The resulting weights can strengthen, suppress, or reverse individual distillation-gradient contributions. At a matched training-response budget, RAD improves mean accuracy on six competition-math benchmarks over the strongest baselines by 6.5 percentage points for Qwen3-1.7B (non-thinking) and 2.5 points for Qwen3-4B-Instruct-2507. RAD-Simple, a simplified variant, achieves comparable math accuracy at the same training-response budget. On LiveCodeBench-v6, RAD reaches 54.69\% and 58.67\% pass@1 with Qwen3-1.7B (non-thinking) and OLMo3-7B-Instruct, respectively, exceeding the strongest baselines by 8.7 and 6.4 points. These results support reward-guided weighting of teacher supervision across model families and tasks.
• Abstract（参考訳）: 検証可能な報酬による強化学習は、大きな言語モデルの推論能力を向上させるが、計算的に高価であり、サンプル非効率である。 オンライン蒸留(OPD)は、より強い教師から密集したトークンレベルの監督を提供するが、標準的なOPDは、教師の好みが実際にタスク報酬を改善するかどうかに関わらず、全てのトークンを蒸留する。 既存のトークン選択法は、報酬改善の監督を識別する必要がない、不確実性や教師の発散といったプロキシに依存している。 Reward-Aligned Distillation (RAD) は, 留学生の報奨に対する予測効果に基づいて, 蒸留信号の重み付けを行うバイレベルフレームワークである。 RADは、各トークンの監督をスコアする一時的なオプティマイザステップを通じて区別し、最初のトークンの重みから投影された上昇によってトークンの重みを更新する。 結果として生じる重みは、個々の蒸留-段階的な寄与を強化、抑制、あるいは逆にすることができる。 一致したトレーニング応答予算で、RADは最強のベースラインに対する6つの競合候補ベンチマークの平均精度を、Qwen3-1.7B(非思考)では6.5ポイント、Qwen3-4B-Instruct-2507では2.5ポイント改善した。 単純化されたRAD-Simpleは、同じトレーニングとレスポンスの予算で同等の計算精度を達成している。 LiveCodeBench-v6では、RADが54.69\%、58.67\% pass@1、Qwen3-1.7B、OLMo3-7B-Instructが8.7ポイント、OLMo3-7B-Instructが6.4ポイントに達している。 これらの結果は、モデル家族やタスクにおける教師監督の報酬誘導重み付けを支援する。

関連論文リスト

• MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation [62.5957241539435]
  本稿では,学生モデルと軽量トークン重み付けネットワークを共同で学習する双方向最適化フレームワークであるMetaOPDを提案する。 このアップデートを微分することで、重み付けの決定を更新後のパフォーマンスへの影響に結び付け、予測信号からトークン重みへのマッピングを学生と一緒に進化させることができる。
  論文  参考訳（メタデータ） (2026-10-08T13:58:39Z)
• Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
  残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。 さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。 Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
  論文  参考訳（メタデータ） (2026-10-08T08:52:55Z)
• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
  自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。 我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。 OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
  論文  参考訳（メタデータ） (2026-09-27T04:38:41Z)
• Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation [7.296659715681798]
  検証可能な報酬を持つ強化学習は、ロールアウトグループが均一に正しいか均一に間違っている場合、グループ相対的な信号を与えない。 SKALD(Skill-Anchored Latent Distillation)は、同一のQwen3-Baseモデルの2つのコンテキストビューを利用する、オンライン自己蒸留フレームワークである。
  論文  参考訳（メタデータ） (2026-08-10T16:43:18Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。