論文の概要: Discrete Copula Diffusion

• arxiv url: http://arxiv.org/abs/2410.01949v1
• Date: Wed, 2 Oct 2024 18:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:54:27.573356
• Title: Discrete Copula Diffusion
• Title（参考訳）: Discrete Copula Diffusion
• Authors: Anji Liu, Oliver Broadrick, Mathias Niepert, Guy Van den Broeck,
• Abstract要約: 離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的な制限を同定する。 我々は,コプラモデルと呼ばれる別の深層生成モデルを導入することで,欠落した依存情報を補うための一般的なアプローチを提案する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。
• 参考スコア（独自算出の注目度）: 44.96934660818884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models have recently shown significant progress in modeling complex data, such as natural languages and DNA sequences. However, unlike diffusion models for continuous data, which can generate high-quality samples in just a few denoising steps, modern discrete diffusion models still require hundreds or even thousands of denoising steps to perform well. In this paper, we identify a fundamental limitation that prevents discrete diffusion models from achieving strong performance with fewer steps -- they fail to capture dependencies between output variables at each denoising step. To address this issue, we provide a formal explanation and introduce a general approach to supplement the missing dependency information by incorporating another deep generative model, termed the copula model. Our method does not require fine-tuning either the diffusion model or the copula model, yet it enables high-quality sample generation with significantly fewer denoising steps. When we apply this approach to autoregressive copula models, the combined model outperforms both models individually in unconditional and conditional text generation. Specifically, the hybrid model achieves better (un)conditional text generation using 8 to 32 times fewer denoising steps than the diffusion model alone. In addition to presenting an effective discrete diffusion generation algorithm, this paper emphasizes the importance of modeling inter-variable dependencies in discrete diffusion.
• Abstract（参考訳）: 離散拡散モデルは最近、自然言語やDNA配列などの複雑なデータモデリングにおいて大きな進歩を見せている。 しかし、数ステップで高品質なサンプルを生成できる連続データの拡散モデルとは異なり、現代の離散拡散モデルは、うまく機能するために数百から数千の復調ステップを必要とする。 本稿では,離散拡散モデルがより少ないステップで強い性能を達成するのを防ぐ基本的制限を同定する。 この問題に対処するために、我々は、コプラモデルと呼ばれる別の深い生成モデルを導入することで、欠落した依存情報を補うための一般的なアプローチを公式に提案し、導入する。 本手法は拡散モデルとコプラモデルの両方を微調整する必要はないが, 高い品質のサンプル生成が可能であり, 分解ステップが著しく少ない。 この手法を自己回帰型コプラモデルに適用すると、組み合わせモデルは無条件テキスト生成と条件テキスト生成の両方で個別に優れる。 具体的には,拡散モデル単独よりも8～32倍のデノイングステップを用いて,条件付きテキスト生成の高速化を実現している。 本稿では,効果的な離散拡散生成アルゴリズムの提示に加えて,離散拡散における変数間の依存性をモデル化することの重要性を強調した。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Generative diffusion model with inverse renormalization group flows [0.0]
  拡散モデルは、ホワイトノイズによって破損したサンプルをデノナイズすることでデータを生成する。 本稿では,データ分散のマルチスケールな性質を利用する正規化群に基づく拡散モデルを提案する。 タンパク質構造予測および画像生成への応用を通じて,モデルの汎用性を検証する。
  論文  参考訳（メタデータ） (2025-01-15T19:00:01Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。