論文の概要: Distribution Matching Distillation for Continuous Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.40235v1
- Date: Wed, 30 Sep 2026 17:32:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.184257
- Title: Distribution Matching Distillation for Continuous Diffusion Language Models
- Title（参考訳）: 連続拡散言語モデルにおける分布マッチング蒸留
- Abstract要約: 連続拡散言語モデルは全てのトークンを並列に生成するが、高品質な生成には数百のネットワーク評価(NFE)が必要である。
本研究では, 学生の確率的トークン出力を利用して, 分散蒸留によってこのコストを抑える方法について検討する。
- 参考スコア（独自算出の注目度）: 30.165049600097674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous diffusion language models generate all tokens in parallel, yet high-quality generation can still require hundreds of network evaluations (NFEs). We study how distributional distillation can reduce this cost by exploiting the student's probabilistic token outputs. Our unified formulation connects the student's output parameterization to the resulting gradient estimators and yields two methods with the same student architecture and reverse-KL matching objective: Simplex-DMD uses continuous token relaxations and pathwise gradients, while Reinforce-DMD uses categorical sampling and REINFORCE with a learned density ratio. We develop both methods for multi-step generation and investigate the training and sampling choices associated with each parameterization. On OpenWebText, for sequences of 1,024 tokens, Simplex-DMD achieves a generative perplexity of 45.6 at a unigram entropy of 5.44 nats in just 4 NFEs, a 49% reduction relative to the strongest evaluated diffusion baseline at matched entropy and sampling budget. Reinforce-DMD improves the frontier at larger budgets, reaching a generative perplexity of 14.9 at an entropy of 5.00 nats with 256 NFEs, a 20% reduction under the same comparison protocol.
- Abstract（参考訳）: 連続拡散言語モデルは全てのトークンを並列に生成するが、高品質な生成には数百のネットワーク評価(NFE)が必要である。
本研究では, 学生の確率的トークン出力を利用して, 分散蒸留によってこのコストを抑える方法について検討する。
Reinforce-DMDは分類的サンプリングとREINFORCEを学習密度比で用いているのに対し、Simplex-DMDは連続的なトークン緩和とパスワイド勾配を用いており、Reinforce-DMDは学習密度比で用いている。
マルチステップ生成のための2つの手法を開発し、各パラメータ化に関連するトレーニングとサンプリングの選択について検討する。
OpenWebTextでは、1,024個のトークンのシーケンスに対して、Simplex-DMDは45.6個の生成的エントロピーをわずか4個のNFEで5.44個のナットのユニグラムエントロピーで達成している。
Reinforce-DMDは、より大きな予算でフロンティアを改善し、同じ比較プロトコルで20%減少する5.00ナットのエントロピーで14.9の生成パープレキシティに達する。
関連論文リスト
- Improved Distributional Diffusion Models [76.7431857619657]
分散拡散モデルでは、標準的な平均予測デノイザを、スコアリングルールの目的によって訓練された固有分布デノイザに置き換える。
本稿では, 時間依存型スコアリングルールのスケジュールを, サーモット・ビロリ2024の動的レギュレーションによって通知する。
4段目で4.48 FID、50段目で2.38 FIDをDiT-XL/2で達成した。
論文 参考訳（メタデータ） (2026-09-29T09:41:56Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。
我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。
我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
論文 参考訳（メタデータ） (2025-03-09T15:53:49Z) - SCott: Accelerating Diffusion Models with Stochastic Consistency Distillation [74.32186107058382]
本稿では,テキスト・画像の高速生成を実現するために,SCott(Consistency Distillation)を提案する。
SCottは、訓練済みの教師モデルの通常の微分方程式解法に基づくサンプリングプロセスを学生に蒸留する。
安定拡散V1.5教師によるMSCOCO-2017 5Kデータセットでは、SCottは2ステップのサンプリングステップを持つ21.9のFIDを達成し、1ステップのInstaFlow (23.4)と4ステップのUFOGen (22.1)を上回ります。
論文 参考訳（メタデータ） (2024-03-03T13:08:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。