論文の概要: dOPSD: On-Policy Self-Distillation for Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2607.04428v1
- Date: Sun, 05 Jul 2026 17:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.927283
- Title: dOPSD: On-Policy Self-Distillation for Diffusion Language Models
- Title（参考訳）: dOPSD: 拡散言語モデルのためのオンライン自己蒸留
- Abstract要約: 拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
- 参考スコア（独自算出の注目度）: 52.60302464420127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) generate text by iteratively denoising a masked sequence, offering a parallel alternative to autoregressive models, but eliciting strong reasoning through post-training remains difficult: supervised fine-tuning is off-policy and suffers from exposure bias, while reinforcement learning gives only sparse, sequence-level rewards and is hard to apply without tractable sequence likelihoods. On-policy self-distillation (OPSD) offers a promising alternative, using one model as both student and teacher to provide dense, token-level, on-policy supervision, but its effectiveness hinges on giving the teacher privileged information (PI) - typically an instance-specific ground-truth reference unavailable at inference - so the student ends up distilling a weak PI-free consensus policy that yields little improvement on dLLM reasoning. We introduce dOPSD, which instead derives the teacher's privilege directly from the student's own denoising trajectory, evaluating masked positions using later, more-decoded steps of that same trajectory rather than an external label, so the teacher's advantage emerges from the model's own decoding process; on Dream and LLaDA, dOPSD improves both in-domain math reasoning and out-of-domain code generation, outperforming supervised and on-policy baselines.
- Abstract（参考訳）: 拡散大言語モデル (dLLMs) は、反復的にマスク付きシーケンスをデノベートしてテキストを生成し、自己回帰モデルに並列な代替を提供するが、訓練後の強い推論を引き出すことは依然として困難である: 教師付き微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はスパースでシーケンスレベルの報酬しか与えず、引き分け可能なシーケンスの確率なしで適用することが難しい。
On-policy Self-distillation (OPSD)は、1つのモデルを学生と教師の両方に使用して、密集したトークンレベルのオン・ポリティクスの監視を提供する、有望な代替手段を提供するが、その効果は、教師の特権情報(PI)を提供することにかかっている。
DOPSDは、教師の特権を生徒自身の認知軌道から直接引き出すもので、後述のよりデコードされた同じ軌道のステップを用いてマスクされた位置を評価できるので、教師の優位性はモデル自身の復号プロセスから生じ、DreamとLLaDAでは、ドメイン内数学推論と外符号生成の両方を改善し、教師付きおよび政治ベースラインを上回ります。
関連論文リスト
- RISE: Recursive Improvement via Self-Extrapolating Policy Distillation [47.92477203057629]
textbfRISE (textbfRecursive textbfImprovement via textbfSelf-textbfExtrapolating Policy Distillation)を提案する。
RISEは、モデル自身のRLVRトレーニング軌道から直接合成教師を構築する。
数学的推論、マルチドメインSTEM、コード生成、マルチターンエージェントタスクにまたがる実験により、RISEはRLVRのみのトレーニングや政治上の自己蒸留よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-09-04T15:47:51Z) - SR-OPSD: Self-Referenced On-Policy Self-Distillation [18.590739659841926]
On-policy Self-distillation (OPSD) は、フィードバックを最適化されるポリシーによって生成されたトラジェクトリの密集したトークンレベルの監視に変換する。
各種環境における最先端・競争性能を実現するために,emphSelf-Referenced On-Policy Self-Distillation (SR-OPSD)を提案する。
論文 参考訳（メタデータ） (2026-08-10T15:40:07Z) - Contrastive On-Policy Distillation [36.47487086937924]
対照的なオンライン蒸留フレームワークである COPD を提案する。
COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
論文 参考訳（メタデータ） (2026-07-21T12:35:04Z) - OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing [62.62736813348113]
大規模言語モデルの強化学習は、複雑な推論タスクにおいて深刻な報酬の分散によって妨げられることが多い。
我々は,フロンティア生成論理を教師側の特権的証拠として利用するフレームワークであるOmniOPSDを提案する。
MER-UniBenchの実験では、OmniOPSDは平均スコアが84.19ドルで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-06-14T16:51:22Z) - Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。
PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。
2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
論文 参考訳（メタデータ） (2026-06-05T07:43:22Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。
標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。
そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:39:06Z) - Rubric-based On-policy Distillation [62.11106822527392]
オンライン蒸留(OPD)はモデルアライメントの強力なパラダイムであるが、教師のロジットに依存しているため、ホワイトボックスのシナリオへの適用が制限される。
構造化された意味ルーブリックは教師のロジットに代わるスケーラブルな代替品として機能し,教師が生成した応答のみを用いてOPDを可能にする。
具体的には、ROPDは教師と学生のコントラストからプロンプト固有のルーリックを誘導し、これらのルーリックを使用して学生のロールアウトをオンライン最適化に活用する。
論文 参考訳（メタデータ） (2026-05-08T07:52:15Z) - Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。
textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
論文 参考訳（メタデータ） (2026-05-06T15:31:50Z) - Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages [7.728607011076579]
強化学習は、自己回帰言語モデル(AR)の訓練後において有効であるが、これらの手法を拡散言語モデル(DLM)に拡張することは、難易度が高いため困難である。
拡散に基づくシーケンス生成を有限水平マルコフ決定過程としてデノベーション軌道上で定式化し、正確な偏りのない政策勾配を導出する。
コーディングと論理的推論ベンチマークの実験は、数学的推論に強い競争性能を持つ最先端の結果を示している。
論文 参考訳（メタデータ） (2026-03-13T01:38:44Z) - Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models [44.041109669153506]
On-Policy Self-Distillation (OPSD) は、教師と学生の両方がひとつのモデルで、異なるコンテキストを条件付けして機能するフレームワークである。
複数の数学的推論ベンチマークにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2026-01-26T17:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。