論文の概要: Discrete Copula Diffusion

• arxiv url: http://arxiv.org/abs/2410.01949v1
• Date: Wed, 2 Oct 2024 18:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:54:27.573356
• Title: Discrete Copula Diffusion
• Title（参考訳）: Discrete Copula Diffusion
• Authors: Anji Liu, Oliver Broadrick, Mathias Niepert, Guy Van den Broeck,
• Abstract要約: 離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的な制限を同定する。 我々は,コプラモデルと呼ばれる別の深層生成モデルを導入することで,欠落した依存情報を補うための一般的なアプローチを提案する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。
• 参考スコア（独自算出の注目度）: 44.96934660818884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have recently shown significant progress in modeling complex data, such as natural languages and DNA sequences. However, unlike diffusion models for continuous data, which can generate high-quality samples in just a few denoising steps, modern discrete diffusion models still require hundreds or even thousands of denoising steps to perform well. In this paper, we identify a fundamental limitation that prevents discrete diffusion models from achieving strong performance with fewer steps -- they fail to capture dependencies between output variables at each denoising step. To address this issue, we provide a formal explanation and introduce a general approach to supplement the missing dependency information by incorporating another deep generative model, termed the copula model. Our method does not require fine-tuning either the diffusion model or the copula model, yet it enables high-quality sample generation with significantly fewer denoising steps. When we apply this approach to autoregressive copula models, the combined model outperforms both models individually in unconditional and conditional text generation. Specifically, the hybrid model achieves better (un)conditional text generation using 8 to 32 times fewer denoising steps than the diffusion model alone. In addition to presenting an effective discrete diffusion generation algorithm, this paper emphasizes the importance of modeling inter-variable dependencies in discrete diffusion.
• Abstract（参考訳）: 離散拡散モデルは最近、自然言語やDNA配列などの複雑なデータモデリングにおいて大きな進歩を見せている。 しかし、数ステップで高品質なサンプルを生成できる連続データの拡散モデルとは異なり、現代の離散拡散モデルは、うまく機能するために数百から数千の復調ステップを必要とする。 本稿では,離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的制限を同定する。 この問題に対処するために、我々は、コプラモデルと呼ばれる別の深い生成モデルを導入することで、欠落した依存情報を補うための一般的なアプローチを公式に提案し、導入する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。 この手法を自己回帰型コプラモデルに適用すると、組み合わせモデルは無条件テキスト生成と条件テキスト生成の両方で個別に優れる。 具体的には,拡散モデル単独よりも8～32倍のデノイングステップを用いて,条件付きテキスト生成の高速化を実現している。 本稿では,効果的な離散拡散生成アルゴリズムの提示に加えて,離散拡散における変数間の依存性をモデル化することの重要性を強調した。

関連論文リスト

• Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
  離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。 CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-11T10:53:03Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• On Distillation of Guided Diffusion Models [94.95228078141626]
  そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。 画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。 遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T18:03:56Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。