論文の概要: Do Diffusion Models Suffer Error Propagation? Theoretical Analysis and Consistency Regularization

• arxiv url: http://arxiv.org/abs/2308.05021v1
• Date: Wed, 9 Aug 2023 15:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 13:01:42.212431
• Title: Do Diffusion Models Suffer Error Propagation? Theoretical Analysis and Consistency Regularization
• Title（参考訳）: 拡散モデルがエラー伝播を引き起こすか? 理論解析と一貫性規則化
• Authors: Yangming Li, Zhaozhi Qian, Mihaela van der Schaar
• Abstract要約: 本稿では,拡散モデルが実際に誤差伝播の影響を受けていることを実証的,理論的に検証する。 次に、この問題に対処するための正規化を提案する。 複数の画像データセットに対する実験結果から,正則化は誤りの伝播を効果的に処理し,バニラ拡散モデルの性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 103.25306930559726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While diffusion models have achieved promising performances in data synthesis, they might suffer error propagation because of their cascade structure, where the distributional mismatch spreads and magnifies through the chain of denoising modules. However, a strict analysis is expected since many sequential models such as Conditional Random Field (CRF) are free from error propagation. In this paper, we empirically and theoretically verify that diffusion models are indeed affected by error propagation and we then propose a regularization to address this problem. Our theoretical analysis reveals that the question can be reduced to whether every denoising module of the diffusion model is fault-tolerant. We derive insightful transition equations, indicating that the module can't recover from input errors and even propagates additional errors to the next module. Our analysis directly leads to a consistency regularization scheme for diffusion models, which explicitly reduces the distribution gap between forward and backward processes. We further introduce a bootstrapping algorithm to reduce the computation cost of the regularizer. Our experimental results on multiple image datasets show that our regularization effectively handles error propagation and significantly improves the performance of vanilla diffusion models.
• Abstract（参考訳）: 拡散モデルはデータ合成において有望な性能を達成したが、それらのカスケード構造により、分散ミスマッチがデノナイジングモジュールの連鎖を通じて広がり拡大するエラー伝播に悩まされる可能性がある。 しかし、条件付きランダムフィールド(CRF)のような多くの逐次モデルではエラーの伝播が不要であるため、厳密な解析が期待できる。 本稿では,拡散モデルが誤り伝播によって実際に影響を受けることを実証的かつ理論的に検証し,この問題に対処するための正規化を提案する。 理論解析により,拡散モデルの全てのデノイングモジュールが耐故障性であるかどうかという問題に対処できることがわかった。 我々は洞察に富んだ遷移方程式を導出し、モジュールが入力エラーから回復できないことを示し、さらに次のモジュールにさらなるエラーを伝播させる。 本分析は, 拡散モデルの整合正則化手法に直接導出し, 前方プロセスと後方プロセスの分布ギャップを明示的に低減する。 さらに,正規化器の計算コストを削減するブートストラップアルゴリズムを導入する。 また,複数の画像データセットを用いた実験により,誤り伝播を効果的に処理し,バニラ拡散モデルの性能を大幅に向上させることを示した。

関連論文リスト

• Mitigating Embedding Collapse in Diffusion Models for Categorical Data [52.90687881724333]
  我々は,学習を安定させる埋め込み空間内の連続拡散フレームワークであるCATDMを紹介する。 ベンチマーク実験により、CATDMは埋没崩壊を緩和し、FFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Neural Approximate Mirror Maps for Constrained Diffusion Models [6.776705170481944]
  拡散モデルは視覚的に拘束力のある画像を作成するのに優れているが、トレーニングデータに固有の微妙な制約を満たすのに苦労することが多い。 一般制約に対するニューラル近似ミラーマップ(NAMM)を提案する。 MDMのような生成モデルは、学習されたミラー空間で訓練され、そのサンプルは逆写像によって設定された制約に復元される。
  論文  参考訳（メタデータ） (2024-06-18T17:36:09Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• A note on the error analysis of data-driven closure models for large eddy simulations of turbulence [2.4548283109365436]
  データ駆動型乱流閉鎖モデルを用いた流路予測における誤差伝搬の数学的定式化について述べる。 データ駆動クロージャモデルを用いて予測誤差の上限を求める。 また, この誤差は, ロールアウト時間とシステムジャコビアン上界とともに指数関数的に伝播することを示した。
  論文  参考訳（メタデータ） (2024-05-27T19:20:22Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• Partial Counterfactual Identification from Observational and Experimental Data [83.798237968683]
  観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。 我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
  論文  参考訳（メタデータ） (2021-10-12T02:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。