論文の概要: OC-OPD: Observation-coordinated Supervision for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.01965v1
- Date: Sun, 01 Nov 2026 15:02:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:13:18.39054
- Title: OC-OPD: Observation-coordinated Supervision for On-Policy Distillation
- Title（参考訳）: OC-OPD:オンデマンド蒸留のための観測協調型スーパービジョン
- Abstract要約: Kullback--Leiblerの発散は、オン・ポリーズ蒸留における補完的な監督を提供する。
学生と教師を候補と評価者の両方として扱うことにより,4つの観測行列を形成する。
OC-OPD (Observing-coordinated on-policy distillation) では、好みの設定、勾配の調整のためのクローズドフォームバーゲティング、更新をスケールするための分布の相違が使用されている。
- 参考スコア（独自算出の注目度）: 57.924285376812755
- License:
- Abstract: Reverse and forward Kullback--Leibler (KL) divergences provide complementary supervision in on-policy distillation: reverse KL refines the student's active token rankings, and forward KL allocates mass to teacher-supported candidates. At student-generated prefixes, we form a four-observation matrix by treating the student and teacher as both candidate sources and evaluators. The diagonal self-observations measure uncertainty, while source-centered cross-observations recover the two KL objectives. We establish an exact identity equating the Fisher inverse-metric coupling of their logit gradients with the sum of these contrasts, yielding a common local descent direction for distinct positive distributions. Observation-coordinated on-policy distillation (OC-OPD) uses observations to set preferences, closed-form bargaining to coordinate gradients, and distributional discrepancy to scale the update. Across three heterogeneous student settings (non-thinking generation, thinking generation, and base-model initialization), OC-OPD achieves strong gains in mathematical reasoning and transfers effectively to out-of-distribution scientific question answering and code generation. Our code is publicly available at: https://github.com/RuoranXu/OC-OPD.
- Abstract（参考訳）: 逆KLは生徒のアクティブトークンランキングを洗練させ、前方KLは教師が支援する候補者に質量を割り当てる。
学生が生成する接頭辞では、学生と教師を候補として扱うことにより、4つの観測行列を形成する。
対角的な自己観測は不確実性を測定する一方、ソース中心の相互観測は2つのKL目標を回復する。
我々は、これらのコントラストの和と、それらのロジット勾配のフィッシャー逆距離結合とを同一視した正確な同一性を確立し、異なる正の分布に対して共通の局所降下方向を与える。
OC-OPD (Observing-coordinated on-policy distillation) では、好みの設定、勾配の調整のためのクローズドフォームバーゲティング、更新をスケールするための分布の相違が使用されている。
3つの異質な学生設定(思考生成、思考生成、基本モデル初期化)において、OC-OPDは数学的推論において大きな進歩を達成し、アウト・オブ・ディストリビューションの科学的質問応答とコード生成に効果的に移行する。
私たちのコードは、https://github.com/RuoranXu/OC-OPD.comで公開されています。
関連論文リスト
- One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation [4.277471273303775]
オンライン自己蒸留は、参照ソリューションに条件付けされた特権コピーから、高濃度のトークンレベルの監督を施した独自の軌道上でモデルをトレーニングすることで、推論を改善する。
問題と生徒の状態を固定しながら、有効な参照を別の参照に置き換えることで、教師の分布を著しく変化させることができることを示す。
論文 参考訳（メタデータ） (2026-10-22T07:59:48Z) - GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation [17.170095056849874]
トークンフィードバックを校正されたシーケンスレベルのクレジットに集約することで、クレジット代入からフィードバックを分離する手法(Group-Relative On-Policy Distillation)を導入する。
そこで本研究では,教師指導の校正に同時期のロールアウトグループを用いて,分散シフト時に信頼性が低下する可能性のある後続のフィードバックを割引する手法を提案する。
論文 参考訳（メタデータ） (2026-10-16T07:22:31Z) - Divergence-Routed On-Policy Distillation for Language Models [17.281764244522467]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルから学生が生成した軌道に沿って生徒に知識を伝達する。
このことは、どのポジションが生徒と教師の行動的ギャップに最も適しているか、そしてこれらのポジションで追加の監督が必要であるかという2つの疑問を提起する。
我々はDrOPD(Dirgence-Routed On-Policy Distillation)を提案する。
DrOPDはRKLの監督をあらゆる位置に維持し、JSのばらつきが高い位置において、選択的にKullback-Leibler(FKL)の分散を監督する。
論文 参考訳（メタデータ） (2026-10-14T04:39:35Z) - Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。
我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。
その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。
本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-10-04T09:13:27Z) - OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。
ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。
フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
論文 参考訳（メタデータ） (2026-09-30T14:56:10Z) - Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。