論文の概要: Trace-Based On-Policy Distillation for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2607.16872v1
- Date: Sat, 18 Jul 2026 16:25:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.291671
- Title: Trace-Based On-Policy Distillation for Masked Diffusion Language Models
- Title（参考訳）: マスク拡散言語モデルのためのトレースに基づくオンライン蒸留
- Abstract要約: dLLMの監視された微調整 (SFT) には、密度が高いが、しばしば非政治的なマスク状態が必要である。
強化学習(RL)はスパース報酬や価値モデリングに依存している。
本稿では, 教師が指導する目標dLLMに推論能力を伝達するフレームワークであるtextbftrace-based on-policy distillation (TOPD)を提案する。
- 参考スコア（独自算出の注目度）: 14.931427442072502
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Diffusion large language models (dLLMs) are a promising alternative to autoregressive generation. However, reasoning-oriented post-training for dLLMs remains challenging. Supervised fine-tuning (SFT) for dLLMs requires dense but often off-policy masked states, while reinforcement learning (RL) relies on sparse rewards or value modeling. This paper proposes \textbf{trace-based on-policy distillation (TOPD)}, a teacher-supervised framework that transfers reasoning ability to a target dLLM without reward estimation. The key idea is to supervise a dLLM on its own denoising trajectory, focusing on the trace-aligned token decisions that form the final response. Specifically, TOPD samples on-policy diffusion trajectories from the target dLLM, obtains teacher token distributions from a teacher model on the corresponding partially denoised states, and updates the target dLLM with a token-level Reverse Kullback-Leibler (Reverse-KL) objective. This design preserves dense teacher supervision while aligning training with the model's own denoising states. On mathematical reasoning benchmarks, TOPD enables SDAR-4B-Chat to match the MATH500 accuracy of its RL-trained counterpart TraDo-4B-Instruct, with gains of +5.7 under static evaluation and +4.5 under dynamic evaluation. Compared with the RL-trained counterpart, TOPD achieves this with 4$\times$ fewer rollout rounds, corresponding to an estimated 96.0$\times$ to-accuracy model-compute speedup.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は自己回帰生成の代替として有望である。
しかし、dLLMsの推論指向のポストトレーニングは依然として困難である。
dLLMの監視された微調整 (SFT) には密集しているが、しばしば非政治的なマスキング状態が必要であるが、強化学習 (RL) はスパース報酬や価値モデリングに依存している。
本稿では,教師が指導するフレームワークである「textbf{trace-based on-policy distillation (TOPD)」を提案する。
鍵となる考え方は、dLLMを自身の認知軌道で監督し、最終応答を形成するトレース整列トークンの決定に焦点を当てることである。
具体的には、ターゲットdLLMからオンライン拡散軌跡をサンプリングし、対応する部分分極状態の教師モデルから教師のトークン分布を取得し、トークンレベルのリバース・カルバック・リーブラー(リバース・KL)の目的で目標dLLMを更新する。
このデザインは、モデル自身の認知状態とトレーニングを整合させながら、密集した教師の監督を保ちます。
数学的推論のベンチマークにおいて、TOPDはSDAR-4B-Chatを、RLで訓練されたTraDo-4B-InstructのMATH500精度に適合させ、静的評価では+5.7、動的評価では+4.5のゲインを持つ。
RLで訓練されたものと比較して、TOPDは4$\times$より少ないロールアウトラウンドでこれを達成し、96.0$\times$ to-accuracy model-compute speedupと推定される。
関連論文リスト
- dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Learning from the Self-future: On-policy Self-distillation for dLLMs [26.01772590639938]
私たちは、dLLM用に調整された最初のOPSDフレームワークであるd-OPSDを紹介します。
まず,自己生成型回答を接尾辞条件として用いることで,自己学習者構築を再構築する。
第二に、トークンレベルからステップレベルへと監督をシフトし、dLLMの反復的認知プロセスとトレーニングを整合させる。
論文 参考訳（メタデータ） (2026-06-16T17:24:57Z) - Reinforcement Learning from Denoising Feedback [22.358386875891053]
拡散言語モデル(dLLMs)の強化学習(RL)における政策損失推定は依然として基礎的かつ長期にわたる課題である。
本稿では、ロールアウトとトレーニングプロセスから得られたフィードバックを活用して、正確かつ効率的なポリシー損失推定を容易にする新しいトレーニングパラダイムであるReinforcement Learning from Denoising Feedback (RLDF)を紹介する。
RLDFは、複数の推論ベンチマークにおいて、2つの代表的なdLLMアーキテクチャであるLLaDAとDreamのパフォーマンスと一般化性の両方において、一貫性と実質的な改善を実現している。
論文 参考訳（メタデータ） (2026-05-25T09:39:13Z) - Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models [14.588291638328329]
TraFLは、凍結参照モデルに固定された報酬型ターゲット分布に対するポリシーを訓練する軌道バランスの目標である。
拡散互換のシーケンスレベルサロゲートと学習したプロンプト依存正規化を備えた拡散言語モデルに対して、これを実用的なものにする。
論文 参考訳（メタデータ） (2026-05-13T16:14:46Z) - Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。
標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。
そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T09:39:06Z) - Discrete Tilt Matching [10.240234517598378]
マスク付き拡散大言語モデル(dLLM)は自己回帰生成の代替として有望である。
DLLMファインチューニングを局所的アンマスキング後部の状態レベルのマッチングとして再キャストするDTM(Disdisrete Tilt Matching)を導出する。
DTMは、MATH500とGSM8Kの競争力を維持しながら、スドクとカウントダウンで強い利益を得る。
論文 参考訳（メタデータ） (2026-04-20T18:43:37Z) - RFG: Test-Time Scaling for Diffusion Large Language Model Reasoning with Reward-Free Guidance [101.30279597148973]
プロセス報酬を明示せずにdLLMの推論軌道を導出するためのRFGを提案する。
RFGは、すべてのタスクとモデルタイプに一貫して大きな改善をもたらし、最大9.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-09-29T23:59:16Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。
本研究は,それらの認知過程と強化学習手法について考察する。
我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文 参考訳（メタデータ） (2025-06-25T17:35:47Z) - ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [75.72672339168092]
本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。
ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。
得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
論文 参考訳（メタデータ） (2025-06-23T17:59:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。