論文の概要: DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
- arxiv url: http://arxiv.org/abs/2605.23605v1
- Date: Fri, 22 May 2026 13:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.363083
- Title: DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
- Title（参考訳）: DiLaDiff: 言語モデリングのための蒸留潜水拡散
- Authors: Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić,
- Abstract要約: 拡散言語モデルは本質的にデコードされたトークン間の相関を捉えない。
3つの成分を持つマスク付き拡散言語モデルの変種であるDiLaDiffを提案する。
- 参考スコア（独自算出の注目度）: 51.39835770694148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models intrinsically fail to capture correlations between decoded tokens, which leads to a harsh trade-off between sampling quality and throughput. To solve this issue, we propose DiLaDiff, a variant of masked diffusion language models with three components: (1) a continuous latent space with semantic capabilities, learned by an auto-encoder fine-tuned from an existing masked diffusion language model; (2) a latent diffusion model learning the prior over the encoder distribution; (3) a consistency model distilling the learned prior into a few-step latent generative model. We show that, even without distillation, our latent-guided diffusion model outperforms the masked diffusion baseline while significantly accelerating inference. Consistency distillation further lowers the computational overhead of continuous diffusion, such that the latent is generated in negligible time compared to discrete decoding.
- Abstract（参考訳）: 拡散言語モデルは本質的に、復号化トークン間の相関を捉えることができず、サンプリング品質とスループットの間に厳しいトレードオフをもたらす。
この問題を解決するために, マスク付き拡散言語モデルの変種であるDiLaDiffを提案する。(1) 既存のマスク付き拡散言語モデルから学習した自己エンコーダで学習した連続潜時空間, (2) エンコーダ分布よりも先に学習した潜時拡散モデル, (3) 学習した先行を数段階の潜時生成モデルに蒸留した一貫性モデルである。
蒸留がなくても,我々の潜伏誘導拡散モデルがマスク拡散ベースラインより優れ,推論が著しく加速することを示す。
連続蒸留は、離散復号法に比べて遅延が無視できる時間で生成されるような連続拡散の計算オーバーヘッドをさらに小さくする。
関連論文リスト
- How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。
本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。
OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
論文 参考訳（メタデータ） (2026-05-08T16:05:19Z) - Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
拡散言語モデルは必ずしも離散空間にある必要はないと主張する。
特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。
本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
論文 参考訳（メタデータ） (2025-10-03T17:44:41Z) - The Diffusion Duality [24.39272541108744]
一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。
カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。
本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
論文 参考訳（メタデータ） (2025-06-12T16:55:35Z) - Why Masking Diffusion Works: Condition on the Jump Schedule for Improved Discrete Diffusion [44.51145995160038]
マルコフ過程は不連続なジャンプによって一定の速度で進化する。
他の離散拡散モデルとは異なり、マスク拡散はジャンプ時間の既知の分布に構築され、どこにジャンプするかしか学ばない。
論文 参考訳（メタデータ） (2025-06-10T00:58:25Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z) - DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。
プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。
DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
論文 参考訳（メタデータ） (2024-10-15T18:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。