論文の概要: Consistent Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.00161v1
• Date: Thu, 30 Apr 2026 19:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.725285
• Title: Consistent Diffusion Language Models
• Title（参考訳）: 一貫性拡散言語モデル
• Authors: Hasan Amin, Yuan Gao, Yaser Souri, Subhojit Som, Ming Yin, Rajiv Khanna, Xia Song,
• Abstract要約: 拡散言語モデル (DLMs) は、サブタイム、並列生成を約束するが、実用的ゲインは未解決のままである。 連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。 我々は,これらの橋を横断するパスイン予測をデノイザに訓練する新しい原理である,マルチパス離散整合性(DCMP)を導入する。 1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。
• 参考スコア（独自算出の注目度）: 22.253153649144476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) are an attractive alternative to autoregressive models because they promise sublinear-time, parallel generation, yet practical gains remain elusive as high-quality samples still demand hundreds of refinement steps. In continuous domains, consistency training along the probability-flow ODE is a popular recipe to accelerate diffusion. For discrete diffusion, no analogous sample-space ODE exists, making direct adaptation ill-defined. We argue that the natural discrete substitute is not a deterministic trajectory but its stochastic counterpart: the exact posterior bridge, available in closed form for broad corruption families including masked and uniform diffusion. Building on this observation, we introduce Multi-Path Discrete Consistency (MPDC), a new principle that trains a denoiser to be path-invariant in expectation across these stochastic bridges, and instantiate it as the Consistent Diffusion Language Model (CDLM), a single-stage, teacher-free training framework. A single CDLM objective unifies masked diffusion, continuous consistency models, and progressive/discrete distillation as analytic limits or empirical approximations of one common view. Empirically, CDLM establishes a new state of the art on both conditional and unconditional text-generation, consistently outperforming strong base discrete diffusion models and often even multi-stage distilled baselines across sampling budgets, with the largest gains in the few-step regime. Together, these results position CDLM as a principled and scalable foundation for the next generation of fast, high-fidelity discrete generative modeling.
• Abstract（参考訳）: 拡散言語モデル(DLMs)は、サブ線形時間、並列生成を約束するが、高品質なサンプルがまだ数百の精細化ステップを必要とするため、実用的利益を期待できるため、自己回帰モデルの魅力的な代替品である。 連続領域では、確率フローODEに沿った一貫性のトレーニングが拡散を加速する一般的なレシピである。 離散拡散に対しては、類似のサンプル空間ODEは存在せず、直接適応は定義されていない。 我々は、天然の離散代用は決定論的軌跡ではなく、その確率的な相反する、仮面や一様拡散を含む広範囲の汚職家族に対して、閉じた形で利用できる正確な後部橋であると主張している。 本報告では, マルチパス離散整合性 (MPDC) を導入し, 確率的ブリッジを横断する経路不変性(パス不変性)をトレーニングし, 単一段階の教師なし学習フレームワークであるCDLM(Consistent Diffusion Language Model)としてインスタンス化する。 1つのCDLMの目的は、マスク拡散、連続一貫性モデル、進行/離散蒸留を1つの共通の見解の分析的限界または経験的近似として統一することである。 実証的に、CDLMは条件付きテキスト生成と非条件付きテキスト生成の両方で新しい最先端の技術を確立し、強いベースとなる離散拡散モデルよりも一貫して優れており、しばしばサンプリング予算全体にわたって多段階の蒸留ベースラインでも性能が向上し、数段階で最大の利益を上げている。 これらの結果は、CDLMを高速かつ高忠実な離散生成モデリングの次世代のための原則的かつスケーラブルな基礎として位置づけている。

関連論文リスト

• Interpolating Discrete Diffusion Models with Controllable Resampling [49.771004594828405]
  仮面拡散モデルは初期解凍による不可逆誤差に悩まされる。 自己補正が可能であるにもかかわらず、一様拡散モデルは、しばしば低品質のサンプルを生成する。 本稿では,中間潜伏状態への依存を減らすことで拡散を改善する補間離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-19T07:55:57Z)
• Generalized Discrete Diffusion from Snapshots [18.212406369597662]
  GDDSは離散拡散モデリングのための統一的なフレームワークである。 これは大きな離散状態空間上の任意のノイズ発生プロセスをサポートする。 逆のプロセスでは、スナップショットラテントに基づいた単純なエビデンスローバウンド(ELBO)を導出する。
  論文  参考訳（メタデータ） (2026-03-22T17:58:01Z)
• Foundations of Diffusion Models in General State Spaces: A Self-Contained Introduction [54.95522167029998]
  この記事は、一般状態空間上の拡散に関する自己完結プライマーである。 我々は、その連続時間限界とともに離散時間ビュー(マルコフカーネルを経由し、逆ダイナミクスを学習する)を開発する。 一般的な変量処理は、標準の訓練損失を支えるELBOをもたらす。
  論文  参考訳（メタデータ） (2025-12-04T18:55:36Z)
• Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner [66.86440230599656]
  拡散言語モデルは必ずしも離散空間にある必要はないと主張する。 特に、連続拡散モデルが離散拡散やループ変換器よりも強い表現性を持つことを示す。 本稿では,連続表現空間と離散トークン空間の結合に関する共同多モード拡散過程を定義する共進化連続拡散法(CCDD)を提案する。
  論文  参考訳（メタデータ） (2025-10-03T17:44:41Z)
• Forward-only Diffusion Probabilistic Models [23.247850964456177]
  この研究は、生成モデリングのためのフォワードオンリー拡散(FoD)アプローチを示す。 FoDは単一の前方拡散プロセスを通じてデータ生成を直接学習し、シンプルだが効率的な生成フレームワークを生成する。 私たちのコードはhttps://github.com/Algolzw/FoD.comで公開されています。
  論文  参考訳（メタデータ） (2025-05-22T14:47:07Z)
• Constrained Discrete Diffusion [61.81569616239755]
  本稿では,拡散過程における微分可能制約最適化の新たな統合であるCDD(Constrained Discrete Diffusion)を紹介する。 CDDは直接、離散拡散サンプリングプロセスに制約を課し、トレーニング不要で効果的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2025-03-12T19:48:12Z)
• Continuous Diffusion Model for Language Modeling [64.7425225935854]
  離散的データに対する既存の連続拡散モデルは離散的手法と比較して性能が劣る。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。 本手法は,既存の離散拡散モデルより優れ,自己回帰モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion [55.185588994883226]
  VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。 VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。 実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。