論文の概要: Contrastive On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.19046v1
- Date: Tue, 21 Jul 2026 12:35:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.424289
- Title: Contrastive On-Policy Distillation
- Title（参考訳）: 対照的なオンポリシィ蒸留
- Authors: Jiacheng Ruan, Jun Tang, Wenzhen Yuan, Ting Liu, Shuai Bai, Dayiheng Liu, Zhibo Yang, Yuzhuo Fu,
- Abstract要約: 対照的なオンライン蒸留フレームワークである COPD を提案する。
COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
- 参考スコア（独自算出の注目度）: 36.47487086937924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy Distillation (OPD) supervises a student model on trajectories sampled from its own policy by minimizing the divergence between the output distributions of the teacher and student at each token position, thereby providing dense token-level supervision. Although existing OPD methods have demonstrated strong performance in improving the reasoning ability of student models, their objectives fundamentally rely on token-level distribution matching. Consequently, they lack an explicit signal for comparing a token's relative compatibility across reasoning modes and thus do not directly model preferences between these modes. To address this limitation, we propose COPD, a contrastive OPD framework. Specifically, for each token generated by the student model, a frozen teacher model scores the same student state under two contrasting instructions that elicit light and heavy reasoning. The difference between the resulting log probabilities serves as a token-level advantage signal to guide the OPD update. Rather than merely imitating a single teacher distribution, COPD directly encourages the student model to learn more concise and efficient reasoning strategies. We conduct experiments on nine multimodal benchmarks covering both reasoning and understanding tasks. The results show that COPD substantially reduces reasoning length without compromising model performance and consistently improves efficiency across different tasks and model scales. Furthermore, the contrastive formulation can be seamlessly integrated into the On-policy Self-distillation (OPSD) framework, where self-contrastive supervision is constructed without an additional teacher model, thereby enabling the model to distill itself toward lightweight reasoning.
- Abstract（参考訳）: On-policy Distillation (OPD) は、教師と生徒のそれぞれのトークン位置における出力分布のばらつきを最小化し、より密集したトークンレベルの監視を提供することにより、生徒が自国政策からサンプリングした軌道上の学生モデルを監督する。
既存のOPD法は,学生モデルの推論能力を向上させる上で高い性能を示してきたが,その目的はトークンレベルの分布マッチングに大きく依存している。
その結果、トークンの相対的互換性を推論モード間で比較するための明確な信号がなく、したがってこれらのモード間の嗜好を直接モデル化することができない。
この制限に対処するため, 対照的なOPDフレームワークである COPD を提案する。
具体的には、学生モデルによって生成されたトークン毎に、凍結された教師モデルは、光と重みの推論を誘発する2つの対照的な指示の下で、同じ学生状態をスコアする。
結果として生じるログの確率の違いは、OPD更新をガイドするトークンレベルのアドバンテージシグナルとして機能する。
単に教師の分布を模倣するのではなく、COPDは生徒モデルに対してより簡潔で効率的な推論戦略を学ぶよう促す。
9つのマルチモーダルベンチマークで、推論と理解の両方のタスクについて実験を行う。
その結果, COPDはモデル性能を損なうことなく推論長を大幅に削減し, タスクやモデルスケールをまたいだ効率を継続的に改善することがわかった。
さらに、コントラストの定式化は、追加の教師モデルなしで自己コントラストの監督を構築できるオンポリチ自己蒸留(OPSD:On-policy Self-distillation)フレームワークにシームレスに統合することができ、軽量な推論に向けてモデルを蒸留することができる。
関連論文リスト
- H$^2$SD: Hybrid Hindsight Self-Distillation [80.12840295964175]
検証可能な報酬付き強化学習(RLVR)は、数学的推論やコード生成といったタスクにおいて、大規模言語モデルの推論能力を大幅に改善した。
ほとんどのRLVR法は、スカラー結果の報酬を全軌道に割り当て、スパース監督とトークンレベルのクレジット割り当てが制限される。
OPDは、より強い教師モデルからトークンレベルの分布を蒸留することで、より密集した監督を提供するが、追加の教師を必要とし、通常は共有語彙を仮定する。
$mathrmH2mathrmSD$は、教師が軌跡の正確性に応じて異なる方法で使用する、ハイブリットな自己蒸留フレームワークである。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - DOPD: Dual On-policy Distillation [59.65986569617147]
オンライン蒸留は、高密度のトークンレベルの信号で学生サンプルの軌跡を監督することで、優れた容量転送を提供する。
特権教師と特権学生の政策の間のトークンレベルの監督を動的にルーティングするアドバンテージ・アウェアな二重蒸留パラダイムであるDOPDを提案する。
大きな言語モデル(LLM)と視覚言語モデル(VLM)の両方の実験は、DOPDがバニラPDを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-06-29T17:55:53Z) - Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment [7.13416637929041]
拡散および連続フロー生成モデルは高品質な生成を実現する。
リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
論文 参考訳（メタデータ） (2026-06-28T09:19:44Z) - RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation [46.554172283247915]
オンライン自己蒸留は、推論モデルに対する密集したトークンレベルの監督を提供する。
この分布ギャップから引き出された学習信号は、タスクを持つものよりもスタイルトークンに集中していることが示される。
我々は,このドリフトを緩和するためのtextbfRLCSD (Reinforcement Learning with Contrastive on-policy Self-Distillation) を提案する。
論文 参考訳（メタデータ） (2026-06-10T06:31:59Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。
具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。
我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
論文 参考訳（メタデータ） (2026-05-05T12:15:21Z) - "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。
CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。
我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
論文 参考訳（メタデータ） (2026-01-20T14:05:19Z) - Stable On-Policy Distillation through Adaptive Target Reformulation [7.361248172930405]
ベト (Veto) は、ロジット空間に幾何学的ブリッジを構築する客観的なレベルの再構成である。
ベトは監督された微調整と既存の政治のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-12T02:57:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。