論文の概要: Less Uniform Discrete Diffusion is More Powerful and Scalable
- arxiv url: http://arxiv.org/abs/2609.35817v1
- Date: Mon, 21 Sep 2026 13:25:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.850461
- Title: Less Uniform Discrete Diffusion is More Powerful and Scalable
- Title（参考訳）: 均一な離散拡散はより強力でスケーラブル
- Abstract要約: 本稿では,新しいUDLMフレームワークであるLose Uniform Diffusion (LUDI)を提案する。
スケールにわたる実験では、LUDIはよりクリーンな監視と数ステップの生成を改善することが示されている。
マスク付き拡散ベースラインと比較して、ARデコーディングと競争性能の3段階のスピードアップを実現している。
- 参考スコア（独自算出の注目度）: 25.356330849587305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although uniform diffusion language models (UDLMs) represent a promising diffusion paradigm, scaling them remains challenging. We identify the core obstacle as an over-uniform training objective and condition-target confusion during sampling. To address these, we propose Less Uniform Diffusion (LUDI), a novel UDLM framework. Specifically, we (i) introduce a less uniform loss that directs each reverse transition toward the clean token, and (ii) equip the model with per-token time embeddings that supply token-level corruption hints, enabling confidence-based few-step sampling. Experiments across scales show that LUDI yields cleaner supervision and improves few-step generation. We further continue-train a 7B autoregressive model into LUDI-7B, resulting in a UDLM capable of complex reasoning. It achieves a 3-token-per-step speedup over AR decoding and competitive performance compared with masked diffusion baselines, revealing that the full potential of UDLMs for complex generation remains to be unlocked.
- Abstract（参考訳）: 統一拡散言語モデル (UDLM) は有望な拡散パラダイムであるが、それを拡張することは依然として困難である。
我々は,コア障害物を,サンプリング時の過一様学習目標と条件目標の混同として同定する。
そこで我々は,新しいUDLMフレームワークであるLess Uniform Diffusion (LUDI)を提案する。
具体的には
i) 清潔なトークンへの各逆遷移を指示する、より均一な損失を導入し、
二 トークンレベルの汚職ヒントを供給し、信頼に基づく数段階のサンプリングを可能にする、トークン単位の時間埋め込みをモデルに装備すること。
スケールにわたる実験では、LUDIはよりクリーンな監視と数ステップの生成を改善することが示されている。
さらに,7B自己回帰モデルをLUDI-7Bに継続し,複雑な推論が可能なUDLMを実現した。
マスク付き拡散ベースラインと比較して、ARデコーディングと競争性能の3段階毎のスピードアップを実現しており、複雑な生成のためのUDLMの潜在能力は、まだアンロックされていない。
関連論文リスト
- Rethinking the Generation Order of Block Diffusion Language Models [4.187801730089504]
拡散言語モデルはフレキシブルな任意の順序生成を可能にするが、既存のサンプリング手法は主に初期のマスク付き拡散モデル(MDM)のために設計されている。
パラレル自動回帰復号法 (PARD) は, トークンの並列化を許容しつつ, 左から右へのアンマスク構造を保存する単純な訓練不要サンプリング法である。
論文 参考訳（メタデータ） (2026-07-27T11:49:50Z) - Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design [59.05127237532803]
拡散言語モデル(DLM)は、自己回帰言語モデルの代替として、強力なスケーリング能力を示している。
本稿では,この感度を一般化誤差の原理解析により検討し,3つの重要な因子を同定する。
本稿では,サンプリング中にグローバルな遷移と意味頻度のペナルティを付加するSemDLM+を提案する。
論文 参考訳（メタデータ） (2026-06-13T14:41:55Z) - Continuous Diffusion Scales Competitively with Discrete Diffusion for Language [48.290726603587444]
確率ベース連続拡散言語モデル(DLM)としてRePlaidを構築する。
自己回帰モデルと比較すると,RePlaidの計算ギャップは20ドル程度であることがわかった。
また、可能性に基づくトレーニングの利点を理解するための理論的洞察も提供します。
論文 参考訳（メタデータ） (2026-05-18T15:15:24Z) - Uncertainty Quantification for Large Language Diffusion Models [35.87984313223733]
自己回帰モデルに代わるものとして,大規模言語拡散モデル (LLDM) が登場している。
既存の不確実量化(UQ)手法は自己回帰因子化を前提とするか、高価な繰り返しサンプリングを使用する。
LLDMのUQに関する最初の体系的研究を行い、軽量ゼロショット不確実性信号を提案する。
論文 参考訳（メタデータ） (2026-05-14T08:39:56Z) - Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models [6.4453302264198165]
拡散フレームワークとモデルスケジューリングの柔軟性を利用して、より小さなMDLMがデノナイジングステップのサブセットでフルモデルを置き換える。
その結果,早期・後期段階は中段よりもかなり頑健であり,FLOPは最大17%減少することがわかった。
提案手法は, MDLMサンプリングを著しく高速化し, 生成品質を保ちながら, 簡易かつアーキテクチャに依存しないスケジューリング規則を適用できることを示唆する。
論文 参考訳（メタデータ） (2026-02-04T13:04:58Z) - Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
本研究は自己回帰型モンテカルロ(SMC)を提示する。
提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。
粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
論文 参考訳（メタデータ） (2026-02-02T09:21:45Z) - Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。
我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文 参考訳（メタデータ） (2026-01-29T17:38:29Z) - WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。
また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
論文 参考訳（メタデータ） (2025-12-02T09:02:20Z) - Latent Discrete Diffusion Models [18.979326092796896]
言語および他の分類データに対する離散拡散について検討する。
EmphLatent Discrete Diffusion Models (LDDM)を提案する。
i)トークンと潜伏剤の完全結合分解を行うFUJI-LDDMと(ii)シークエントを逐次分解するSEQ-LDDMの2つのインスタンスを提案する。
どちらの変種に対しても、ELBOスタイルの目的を導出し、ディファソインモデリングに適さない情報的潜伏者を学習するための設計選択について議論する。
論文 参考訳（メタデータ） (2025-10-20T21:26:52Z) - Generalized Interpolating Discrete Diffusion [65.74168524007484]
仮面拡散はその単純さと有効性のために一般的な選択である。
ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。
GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
論文 参考訳（メタデータ） (2025-03-06T14:30:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。