論文の概要: Unified Discrete Diffusion for Categorical Data

• arxiv url: http://arxiv.org/abs/2402.03701v2
• Date: Mon, 12 Aug 2024 16:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 00:07:59.703670
• Title: Unified Discrete Diffusion for Categorical Data
• Title（参考訳）: カテゴリーデータの統一離散拡散
• Authors: Lingxiao Zhao, Xueying Ding, Lijun Yu, Leman Akoglu,
• Abstract要約: 離散拡散のためのより正確で容易に最適なトレーニングを可能にする変分下界の数学的単純化について述べる。 本稿では, 精密かつ高速なサンプリングが可能な後方復調法と, 離散時間および連続時間離散拡散のエレガントな統一法を導出する。
• 参考スコア（独自算出の注目度）: 37.56355078250024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion models have seen a surge of attention with applications on naturally discrete data such as language and graphs. Although discrete-time discrete diffusion has been established for a while, only recently Campbell et al. (2022) introduced the first framework for continuous-time discrete diffusion. However, their training and sampling processes differ significantly from the discrete-time version, necessitating nontrivial approximations for tractability. In this paper, we first present a series of mathematical simplifications of the variational lower bound that enable more accurate and easy-to-optimize training for discrete diffusion. In addition, we derive a simple formulation for backward denoising that enables exact and accelerated sampling, and importantly, an elegant unification of discrete-time and continuous-time discrete diffusion. Thanks to simpler analytical formulations, both forward and now also backward probabilities can flexibly accommodate any noise distribution, including different noise distributions for multi-element objects. Experiments show that our proposed USD3 (for Unified Simplified Discrete Denoising Diffusion) outperform all SOTA baselines on established datasets. We open-source our unified code at https://github.com/LingxiaoShawn/USD3.
• Abstract（参考訳）: 離散拡散モデルは言語やグラフのような自然に離散的なデータに適用することで注目されている。 離散時間離散拡散はしばらく確立されてきたが、最近になってキャンベルら (2022) が連続時間離散拡散のための最初の枠組みを導入した。 しかし、それらのトレーニングとサンプリングプロセスは離散時間版とは大きく異なり、トラクタビリティの非自明な近似を必要とする。 本稿ではまず,より正確で容易に訓練できる変分下界の数学的単純化について述べる。 さらに, 正確なサンプリングが可能であり, 離散時間および連続時間離散拡散のエレガントな統一を可能にする, 後方復調のための簡易な定式化を導出する。 単純な解析的な定式化のおかげで、前方と後方の両方の確率は、様々なノイズ分布を含むあらゆるノイズ分布に柔軟に対応できる。 実験の結果,提案したUSD3 (Unified Simplified Discrete Denoising Diffusion) は,確立したデータセット上でのSOTAベースラインよりも優れていた。 私たちは統一されたコードをhttps://github.com/LingxiaoShawn/USD3.comでオープンソースにしています。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
  ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。 本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。 提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T17:11:21Z)
• Diffusion on the Probability Simplex [24.115365081118604]
  拡散モデルは、データ分布のプログレッシブノイズ化を逆転させ、生成モデルを作成する。 本稿では,確率単純度上で拡散を行う手法を提案する。 本手法は,有界画像生成に適用可能な単位立方体上の拡散を含むように自然に拡張されている。
  論文  参考訳（メタデータ） (2023-09-05T18:52:35Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
  前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。 例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2023-05-18T16:24:12Z)
• Where to Diffuse, How to Diffuse, and How to Get Back: Automated Learning for Multivariate Diffusions [22.04182099405728]
  拡散に基づく生成モデル(DBGM)は、ターゲット雑音分布に摂動データを変換し、この推論拡散過程を逆にしてサンプルを生成する。 補助変数の数に対して、低いバウンドを最大化する方法を示す。 次に,特定対象雑音分布の拡散をパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2023-02-14T18:57:04Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)
• Truncated Diffusion Probabilistic Models and Diffusion-based Adversarial Auto-Encoders [137.1060633388405]
  拡散に基づく生成モデルは、逆拡散連鎖を推論してデータを生成する方法を学ぶ。 我々は、データが純粋なランダムノイズになるまで、より高速で安価にノイズを付加するアプローチを提案する。 提案手法は,拡散過程と学習可能な暗黙的前処理の両方によって付与された逆自動エンコーダとしてキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-19T20:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。