論文の概要: Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster

• arxiv url: http://arxiv.org/abs/2605.18204v1
• Date: Mon, 18 May 2026 10:43:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.405654
• Title: Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster
• Title（参考訳）: 前向き学習型離散拡散:より高速に雑音を除去する方法を学ぶ
• Authors: Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo,
• Abstract要約: 本稿では,対象分布とモデル分布とのギャップを低減するために,前方学習型離散拡散法を提案する。 マルコフの前方鎖を固定する代わりに、学習可能な辺分布と後続分布を持つ非マルコフの定式化を採用する。 これにより、生成プロセスは、ノイズ発生プロセスで定義されたターゲットにマッチしながら、分解され続けることができる。
• 参考スコア（独自算出の注目度）: 9.504429803694448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models are a powerful class of generative models with strong performance across many domains. For efficiency, however, discrete diffusion typically parameterizes the generative (reverse) process with factorized distributions, which makes it difficult for the model to learn the target process in a small number of steps and necessitates a long, computationally expensive sampling procedure. To reduce the gap between the target and model distributions and enable few-step generation, we propose Forward-Learned Discrete Diffusion (FLDD), which introduces discrete diffusion with a learnable forward (noising) process. Rather than fixing a Markovian forward chain, we adopt a non-Markovian formulation with learnable marginal and posterior distributions. This allows the generative process to remain factorized while matching the target defined by the noising process. We train all parameters end-to-end under the standard variational objective. Experiments on various benchmarks show that, for a given number of sampling steps, our approach produces a higher quality samples than conventional discrete diffusion models using the same reverse parameterization.
• Abstract（参考訳）: 離散拡散モデルは、多くの領域にわたる強力な性能を持つ生成モデルの強力なクラスである。 しかし、効率性のためには、離散拡散は通常、生成過程(逆)を因子分布でパラメータ化するので、モデルが少数のステップで目標過程を学習することは困難であり、長い、計算に費用がかかるサンプリング手順を必要とする。 目標分布とモデル分布のギャップを減らし,少数段階の生成を可能にするために,学習可能な前方(雑音)プロセスによる離散拡散を導入したFLDD(Forward-Learned Discrete Diffusion)を提案する。 マルコフの前方鎖を固定する代わりに、学習可能な辺分布と後続分布を持つ非マルコフの定式化を採用する。 これにより、生成プロセスは、ノイズ発生プロセスで定義されたターゲットにマッチしながら、分解され続けることができる。 標準の変分目的の下で、すべてのパラメータをエンドツーエンドにトレーニングします。 種々のベンチマーク実験により, 従来の離散拡散モデルの逆パラメタライゼーション法よりも高い品質のサンプルが得られた。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。