論文の概要: On Error Propagation of Diffusion Models
- arxiv url: http://arxiv.org/abs/2308.05021v3
- Date: Thu, 18 Jan 2024 18:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:22:38.206059
- Title: On Error Propagation of Diffusion Models
- Title(参考訳): 拡散モデルの誤差伝播について
- Authors: Yangming Li, Mihaela van der Schaar
- Abstract要約: DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。
累積誤差を正規化項として適用して誤差伝搬を低減する。
提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
- 参考スコア(独自算出の注目度): 77.91480554418048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although diffusion models (DMs) have shown promising performances in a number
of tasks (e.g., speech synthesis and image generation), they might suffer from
error propagation because of their sequential structure. However, this is not
certain because some sequential models, such as Conditional Random Field (CRF),
are free from this problem. To address this issue, we develop a theoretical
framework to mathematically formulate error propagation in the architecture of
DMs, The framework contains three elements, including modular error, cumulative
error, and propagation equation. The modular and cumulative errors are related
by the equation, which interprets that DMs are indeed affected by error
propagation. Our theoretical study also suggests that the cumulative error is
closely related to the generation quality of DMs. Based on this finding, we
apply the cumulative error as a regularization term to reduce error
propagation. Because the term is computationally intractable, we derive its
upper bound and design a bootstrap algorithm to efficiently estimate the bound
for optimization. We have conducted extensive experiments on multiple image
datasets, showing that our proposed regularization reduces error propagation,
significantly improves vanilla DMs, and outperforms previous baselines.
- Abstract(参考訳): 拡散モデル(DM)は様々なタスク(音声合成や画像生成など)において有望な性能を示すが、連続的な構造のためエラーの伝播に悩まされる可能性がある。
しかし、条件ランダム場(CRF)のようないくつかの逐次モデルがこの問題から解放されているため、これは定かではない。
この問題に対処するために,dmsのアーキテクチャにおける誤り伝播を数学的に定式化する理論的枠組みを開発し,そのフレームワークはモジュールエラー,累積誤差,伝播方程式の3つの要素を含む。
モジュラーおよび累積誤差は、DMが実際にエラー伝播に影響を受けていることを解釈する方程式によって関連付けられる。
我々の理論的研究は、累積誤差がDMの生成品質と密接に関連していることも示唆している。
この結果に基づいて累積誤差を正規化項として適用し,誤差伝播を減少させる。
この用語は計算に難解であるため、その上界を導出し、最適化のための境界を効率的に推定するブートストラップアルゴリズムを設計する。
我々は,複数の画像データセットについて広範な実験を行い,提案手法が誤差伝播を減少させ,バニラdmsを著しく改善し,従来のベースラインを上回ることを示した。
関連論文リスト
- Causal Diffusion Autoencoders: Toward Counterfactual Generation via Diffusion Probabilistic Models [17.124075103464392]
拡散モデル(DPM)は高品質の画像生成における最先端技術となっている。
DPMは、解釈可能な意味論や制御可能な意味論を持たない任意の雑音潜在空間を持つ。
本稿では,拡散に基づく因果表現学習フレームワークCausalDiffAEを提案する。
論文 参考訳(メタデータ) (2024-04-27T00:09:26Z) - Mirror Diffusion Models for Constrained and Watermarked Generation [41.27274841596343]
ミラー拡散モデル(MDM)は、トラクタビリティを損なうことなく凸制約セット上のデータを生成する新しい拡散モデルである。
安全とプライバシーのために、我々は、生成したデータに目に見えないが定量的な情報を埋め込む新しいメカニズムとして制約セットを探求する。
私たちの研究は、複雑なドメイン上での抽出可能な拡散を学習する新しいアルゴリズムの機会をもたらします。
論文 参考訳(メタデータ) (2023-10-02T14:26:31Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-21T18:49:22Z) - Exploring the Optimal Choice for Generative Processes in Diffusion
Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。
その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
論文 参考訳(メタデータ) (2023-06-03T09:27:15Z) - Reconstructing Graph Diffusion History from a Single Snapshot [91.9168290827762]
A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。
本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。
また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
論文 参考訳(メタデータ) (2023-06-01T09:39:32Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。
Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。
Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文 参考訳(メタデータ) (2022-02-21T12:23:01Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳(メタデータ) (2021-10-12T02:21:30Z) - Structured Denoising Diffusion Models in Discrete State-Spaces [15.488176444698404]
本稿では離散化拡散確率モデル(D3PM)を離散データに適用する。
遷移行列の選択は、画像およびテキスト領域における結果の改善につながる重要な設計決定である。
テキストでは、このモデルクラスは、LM1B上の大きな語彙にスケールしながら、文字レベルのテキスト生成に強い結果をもたらす。
論文 参考訳(メタデータ) (2021-07-07T04:11:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。