論文の概要: Do Diffusion Models Suffer Error Propagation? Theoretical Analysis and
Consistency Regularization
- arxiv url: http://arxiv.org/abs/2308.05021v1
- Date: Wed, 9 Aug 2023 15:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 13:01:42.212431
- Title: Do Diffusion Models Suffer Error Propagation? Theoretical Analysis and
Consistency Regularization
- Title(参考訳): 拡散モデルがエラー伝播を引き起こすか?
理論解析と一貫性規則化
- Authors: Yangming Li, Zhaozhi Qian, Mihaela van der Schaar
- Abstract要約: 本稿では,拡散モデルが実際に誤差伝播の影響を受けていることを実証的,理論的に検証する。
次に、この問題に対処するための正規化を提案する。
複数の画像データセットに対する実験結果から,正則化は誤りの伝播を効果的に処理し,バニラ拡散モデルの性能を大幅に向上させることが示された。
- 参考スコア(独自算出の注目度): 103.25306930559726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While diffusion models have achieved promising performances in data
synthesis, they might suffer error propagation because of their cascade
structure, where the distributional mismatch spreads and magnifies through the
chain of denoising modules. However, a strict analysis is expected since many
sequential models such as Conditional Random Field (CRF) are free from error
propagation. In this paper, we empirically and theoretically verify that
diffusion models are indeed affected by error propagation and we then propose a
regularization to address this problem. Our theoretical analysis reveals that
the question can be reduced to whether every denoising module of the diffusion
model is fault-tolerant. We derive insightful transition equations, indicating
that the module can't recover from input errors and even propagates additional
errors to the next module. Our analysis directly leads to a consistency
regularization scheme for diffusion models, which explicitly reduces the
distribution gap between forward and backward processes. We further introduce a
bootstrapping algorithm to reduce the computation cost of the regularizer. Our
experimental results on multiple image datasets show that our regularization
effectively handles error propagation and significantly improves the
performance of vanilla diffusion models.
- Abstract(参考訳): 拡散モデルはデータ合成において有望な性能を達成したが、それらのカスケード構造により、分散ミスマッチがデノナイジングモジュールの連鎖を通じて広がり拡大するエラー伝播に悩まされる可能性がある。
しかし、条件付きランダムフィールド(CRF)のような多くの逐次モデルではエラーの伝播が不要であるため、厳密な解析が期待できる。
本稿では,拡散モデルが誤り伝播によって実際に影響を受けることを実証的かつ理論的に検証し,この問題に対処するための正規化を提案する。
理論解析により,拡散モデルの全てのデノイングモジュールが耐故障性であるかどうかという問題に対処できることがわかった。
我々は洞察に富んだ遷移方程式を導出し、モジュールが入力エラーから回復できないことを示し、さらに次のモジュールにさらなるエラーを伝播させる。
本分析は, 拡散モデルの整合正則化手法に直接導出し, 前方プロセスと後方プロセスの分布ギャップを明示的に低減する。
さらに,正規化器の計算コストを削減するブートストラップアルゴリズムを導入する。
また,複数の画像データセットを用いた実験により,誤り伝播を効果的に処理し,バニラ拡散モデルの性能を大幅に向上させることを示した。
関連論文リスト
- Causal Diffusion Autoencoders: Toward Counterfactual Generation via Diffusion Probabilistic Models [17.124075103464392]
拡散モデル(DPM)は高品質の画像生成における最先端技術となっている。
DPMは、解釈可能な意味論や制御可能な意味論を持たない任意の雑音潜在空間を持つ。
本稿では,拡散に基づく因果表現学習フレームワークCausalDiffAEを提案する。
論文 参考訳(メタデータ) (2024-04-27T00:09:26Z) - Mirror Diffusion Models for Constrained and Watermarked Generation [41.27274841596343]
ミラー拡散モデル(MDM)は、トラクタビリティを損なうことなく凸制約セット上のデータを生成する新しい拡散モデルである。
安全とプライバシーのために、我々は、生成したデータに目に見えないが定量的な情報を埋め込む新しいメカニズムとして制約セットを探求する。
私たちの研究は、複雑なドメイン上での抽出可能な拡散を学習する新しいアルゴリズムの機会をもたらします。
論文 参考訳(メタデータ) (2023-10-02T14:26:31Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Exploring the Optimal Choice for Generative Processes in Diffusion
Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。
その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
論文 参考訳(メタデータ) (2023-06-03T09:27:15Z) - Reconstructing Graph Diffusion History from a Single Snapshot [91.9168290827762]
A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。
本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。
また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
論文 参考訳(メタデータ) (2023-06-01T09:39:32Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。
Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。
Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文 参考訳(メタデータ) (2022-02-21T12:23:01Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳(メタデータ) (2021-10-12T02:21:30Z) - Structured Denoising Diffusion Models in Discrete State-Spaces [15.488176444698404]
本稿では離散化拡散確率モデル(D3PM)を離散データに適用する。
遷移行列の選択は、画像およびテキスト領域における結果の改善につながる重要な設計決定である。
テキストでは、このモデルクラスは、LM1B上の大きな語彙にスケールしながら、文字レベルのテキスト生成に強い結果をもたらす。
論文 参考訳(メタデータ) (2021-07-07T04:11:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。