論文の概要: Reward-Aligned Reweighting for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.35517v1
• Date: Mon, 28 Sep 2026 16:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:12:53.531176
• Title: Reward-Aligned Reweighting for On-Policy Distillation
• Title（参考訳）: オンライン蒸留における逆向き再加重法
• Abstract要約: オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
• 参考スコア（独自算出の注目度）: 17.797224736120654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student language model with dense feedback from a stronger teacher on student-generated trajectories. Yet standard OPD weights token-level distillation terms uniformly, implicitly treating local teacher preference as a proxy for correction utility. A decision's task value, however, depends on how the student completes the subsequent reasoning. This mismatch can cause imitation to suppress viable student strategies or reinforce paths the student cannot reliably execute. Verified trajectory outcomes provide complementary evidence about continuation quality, but do not directly identify the utility of individual decisions. We introduce Reward-Aligned Reweighting for On-Policy Distillation (R$^{2}$-OPD), which uses outcome agreement and the magnitude of teacher--student disagreement to continuously reallocate teacher supervision. It gives reward-aligned corrections greater relative influence while retaining dense feedback, moving beyond uniform imitation and hard filtering. Our analysis formalizes the mismatch between local teacher preference and student continuation value and establishes sufficient conditions for reallocation to improve first-order task progress over uniform OPD. Across seven mathematical reasoning benchmarks, R$^{2}$-OPD achieves the highest average accuracy among the compared training methods in both cross-size and same-size distillation. It outperforms standard OPD on all seven benchmarks, with average gains of 3.5 and 2.4 percentage points for 1.7B and 4B students, respectively. An extension to code generation yields an average gain of 1.6 percentage points over standard OPD. These results highlight outcome-guided supervision allocation as an effective way to translate dense teacher feedback into stronger student performance across model scales and task domains.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌道上の強い教師からの強いフィードバックで、学生言語モデルを訓練する。 しかし、標準的なPDはトークンレベルの蒸留条件を均一に重み付け、局所教師の嗜好を補正ユーティリティのプロキシとして暗黙的に扱う。 しかし、決定の課題価値は、学生がその後の推論をどのように完了するかによって決まる。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 検証された軌跡の結果は、継続品質に関する補完的な証拠を提供するが、個々の決定の有用性を直接識別するものではない。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$^{2}$-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。 報酬に整合した補正は、より強いフィードバックを維持しながら、均一な模倣やハードフィルタリングを超えて、より強い相対的な影響を与える。 本分析では,教師の選好と学生の継続値のミスマッチを定式化し,一様PDよりも1次タスクの進捗を改善するために,実地化のための十分な条件を確立する。 7つの数学的推論ベンチマークで、R$^{2}$-OPDは、クロスサイズと等サイズの蒸留の両方で比較した訓練方法の中で、最も高い平均精度を達成している。 7つのベンチマークで標準PDを上回り、それぞれ1.7B学生と4B学生の3.5ポイントと2.4ポイントをそれぞれ上回っている。 コード生成の拡張により、標準PDよりも1.6ポイントの平均利得が得られる。 これらの結果から,高密度教師のフィードバックをモデル尺度やタスク領域を越えてより強力な生徒のパフォーマンスに翻訳する効果的な方法として,成果誘導型指導割当が注目された。

関連論文リスト

• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
  On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。 単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。 TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
  論文  参考訳（メタデータ） (2026-09-25T06:37:02Z)
• PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
  On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。 PAST(Privleged Adaptation from Students Trajectories)を紹介する。 PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
  論文  参考訳（メタデータ） (2026-08-09T14:20:12Z)
• Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models [23.382646724389545]
  オンライン蒸留(OPD)は、現在の学生政策の軌跡をサンプリングし、学生と教師の次点分布のトークンレベルのばらつきを最小限にする。 本稿では,ローカルで実現可能な教師の訂正のみを蒸留するemphFisher-Projected On-Policy Distillation (FP-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-08-02T14:16:14Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。