論文の概要: Improving and Unifying Discrete&Continuous-time Discrete Denoising Diffusion

• arxiv url: http://arxiv.org/abs/2402.03701v1
• Date: Tue, 6 Feb 2024 04:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 16:30:32.049906
• Title: Improving and Unifying Discrete&Continuous-time Discrete Denoising Diffusion
• Title（参考訳）: 離散・連続時間離散化拡散の改善と統一
• Authors: Lingxiao Zhao, Xueying Ding, Lijun Yu, Leman Akoglu
• Abstract要約: 離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。 本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
• 参考スコア（独自算出の注目度）: 41.03548068279262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models have seen a surge of attention with applications on naturally discrete data such as language and graphs. Although discrete-time discrete diffusion has been established for a while, only recently Campbell et al. (2022) introduced the first framework for continuous-time discrete diffusion. However, their training and sampling processes differ significantly from the discrete-time version, necessitating nontrivial approximations for tractability. In this paper, we first present a series of mathematical simplifications of the variational lower bound that enable more accurate and easy-to-optimize training for discrete diffusion. In addition, we derive a simple formulation for backward denoising that enables exact and accelerated sampling, and importantly, an elegant unification of discrete-time and continuous-time discrete diffusion. Thanks to simpler analytical formulations, both forward and now also backward probabilities can flexibly accommodate any noise distribution, including different noise distributions for multi-element objects. Experiments show that our proposed USD3 (for Unified Simplified Discrete Denoising Diffusion) outperform all SOTA baselines on established datasets. We open-source our unified code at https://github.com/LingxiaoShawn/USD3.
• Abstract（参考訳）: 離散拡散モデルは言語やグラフのような自然に離散的なデータに適用することで注目されている。 離散時間離散拡散はしばらく確立されてきたが、最近キャンベルら (2022) は連続時間離散拡散の最初の枠組みを導入した。 しかし、それらのトレーニングとサンプリングプロセスは離散時間版とは大きく異なり、トラクタビリティの非自明な近似を必要とする。 本稿では, 離散拡散のためのより正確で最適化しやすい学習を可能にする変分下界の一連の数学的単純化について述べる。 さらに, 正確なサンプリングが可能であり, 離散時間および連続時間離散拡散のエレガントな統一を可能にする, 後方復調のための簡易な定式化を導出する。 より単純な解析的定式化により、前方および後方の確率は、多元オブジェクトの異なるノイズ分布を含む任意のノイズ分布を柔軟に許容することができる。 実験の結果,提案したUSD3 (Unified Simplified Discrete Denoising Diffusion) は,確立したデータセット上でのSOTAベースラインよりも優れていた。 私たちは、統一コードをhttps://github.com/lingxiaoshawn/usd3でオープンソースにしました。

関連論文リスト

• Immiscible Diffusion: Accelerating Diffusion Training with Noise Assignment [56.609042046176555]
  現在の方法では、各画像がノイズ空間全体に拡散し、ノイズ層内の各点で全ての画像が混合される。 Inmiscible Diffusionを提案する。これはノイズデータマッピングのランダムな混合を改善するためのシンプルで効果的な方法である。 我々のアプローチは極めて単純で、各画像の拡散可能な領域を制限するために1行のコードしか必要としない。
  論文  参考訳（メタデータ） (2024-06-18T06:20:42Z)
• Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate [49.97755400231656]
  我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。 次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。 そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
  ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。 本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。 提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T17:11:21Z)
• Mixed Variational Flows for Discrete Variables [14.00384446902181]
  連続的な埋め込みを伴わない離散分布のための変動流ファミリを開発した。 まず、測度保存および離散可逆写像(MAD)を開発し、離散的対象不変性を残した。 また、連立離散モデルおよび連続モデルを扱うMAD Mixの拡張も開発した。
  論文  参考訳（メタデータ） (2023-08-29T20:13:37Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• DINOISER: Diffused Conditional Sequence Learning by Manipulating Noises [38.72460741779243]
  ノイズを操作することでシーケンス生成のための拡散モデルを容易にするためにDINOISERを導入する。 実験により、DINOISERは、従来の拡散に基づくシーケンス生成モデルのベースラインよりも一貫した改善を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-02-20T15:14:46Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)
• Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial Auto-Encoders [137.1060633388405]
  拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。 我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。 提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-19T20:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。