論文の概要: JustOPD: On-Policy Distillation from Autoregressive to Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.17397v1
• Date: Mon, 12 Oct 2026 21:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 19:04:04.20646
• Title: JustOPD: On-Policy Distillation from Autoregressive to Diffusion Language Models
• Title（参考訳）: JustOPD: 自己回帰から拡散言語モデルへのオンライン蒸留
• Abstract要約: 本稿では,学習中の自己回帰ロールアウトを利用して,ARM教師の左から右への復号化を行うARM-to-DLM法を提案する。 JustOPDは、複数の分岐選択で基本DLM上の数学的推論性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 9.133661763917374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) is a post-training approach for large language models (LLMs) that enables a student model to learn a teacher model's distribution from sequences sampled from the student's own policy. Despite its promising capability, OPD for diffusion language models (DLMs) remains underexplored and existing studies primarily focuses on DLM-to-DLM distillation. The limited availability of strong teacher DLMs and the flexible generation order of DLMs impose additional technical challenges as well. However, it remains unclear how to effectively distill knowledge from a strong autoregressive language model (ARM) into a weaker DLM, given the mismatch between the left-to-right decoding of ARMs and the flexible decoding order of DLMs. Inspired by Ni et al. (2026), we propose JustOPD, an ARM-to-DLM on-policy distillation method that uses autoregressive rollouts during training to align the student's generation process with the ARM teacher's left-to-right decoding. This alignment enables effective distillation from ARM teachers while preserving the DLM's flexible generation-order capability at inference time. Experiments using Qwen3-14B as the teacher and Dream-7B as the student demonstrate that JustOPD consistently improves mathematical reasoning performance over the base DLM across multiple divergence choices.
• Abstract（参考訳）: オンライン蒸留(英: On-policy distillation、OPD)とは、大規模言語モデル(LLM)の訓練後アプローチであり、学生が生徒自身の方針からサンプリングされたシーケンスから教師モデルの分布を学習できるようにするものである。 その有望な能力にもかかわらず、拡散言語モデル (DLMs) のOPDは未探索であり、既存の研究は主にDLM-to-DLM蒸留に焦点を当てている。 強力な教師DLMと柔軟なDLMの生成順序の制限により、さらなる技術的課題も生じている。 しかし、ARMの左から右への復号化とDLMの柔軟な復号化とのミスマッチを考えると、強力な自己回帰言語モデル(ARM)からの知識をより弱いDLMに効果的に蒸留する方法は不明である。 Ni et al (2026) にインスパイアされた JustOPD は,訓練中に自己回帰型ロールアウトを用いて,ARM 教師の左から右への復号化を行う ARM-to-DLM 方式である。 このアライメントは、DLMのフレキシブルな世代順の能力を推論時に保ちながら、ARM教師からの効果的な蒸留を可能にする。 Qwen3-14B を教師として、Dream-7B を学生として実験したところ、JustOPD は基本 DLM の数学的推論性能を複数の分散選択で一貫して改善することを示した。

関連論文リスト

• ForkLeft: Entropy-First Rollouts for Prefix-Aligned Autoregressive-to-Diffusion Distillation [12.983899693598396]
  拡散言語モデル(DLM)はフレキシブルトークン順序と並列生成を提供する。 直接蒸留は基本的なミスマッチに直面し、自己回帰的な教師は左の接頭辞から予測し、一方DLMは両側のトークンに条件を付ける。 本稿では,教師の指導から学生のロールアウトを分離することで,このミスマッチを解決する蒸留フレームワークであるForkLeftを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T10:29:45Z)
• SelFusion: Self-distillation for Diffusion Language Models [11.370229362941267]
  拡散言語モデル(DLM)は、自己回帰(AR)大規模言語モデル(LLM)の固有の遅延ボトルネックを軽減する。 本稿では, DLM のための新しい自己蒸留フレームワーク, SelFusion を提案する。
  論文  参考訳（メタデータ） (2026-08-24T07:26:35Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation [50.27099285181793]
  自己回帰モデル(ARLM)の拡散言語モデル(DLM)への変換について検討する。 本稿では,ALLM-to-DLM変換にOPD(On-Policy Diffusion Language Model)を用いる,OPDLM(On-Policy Diffusion Language Model)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T20:58:08Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• Large Language Diffusion Models [93.26422905620008]
  大規模言語モデル(LLM)は自己回帰モデル(ARM)に依存していると考えられている。 我々は,事前学習および教師付き微調整パラダイムの下で,ゼロから学習した拡散モデルであるLLaDAを紹介する。 一般的なタスクや数学、コードなどに関する広範なベンチマークを通じて、LLaDAは強力なスケーラビリティを示し、自己構築されたARMベースラインと互換性のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-02-14T08:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。