論文の概要: On Error Propagation of Diffusion Models

• arxiv url: http://arxiv.org/abs/2308.05021v3
• Date: Thu, 18 Jan 2024 18:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 20:22:38.206059
• Title: On Error Propagation of Diffusion Models
• Title（参考訳）: 拡散モデルの誤差伝播について
• Authors: Yangming Li, Mihaela van der Schaar
• Abstract要約: DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
• 参考スコア（独自算出の注目度）: 77.91480554418048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although diffusion models (DMs) have shown promising performances in a number of tasks (e.g., speech synthesis and image generation), they might suffer from error propagation because of their sequential structure. However, this is not certain because some sequential models, such as Conditional Random Field (CRF), are free from this problem. To address this issue, we develop a theoretical framework to mathematically formulate error propagation in the architecture of DMs, The framework contains three elements, including modular error, cumulative error, and propagation equation. The modular and cumulative errors are related by the equation, which interprets that DMs are indeed affected by error propagation. Our theoretical study also suggests that the cumulative error is closely related to the generation quality of DMs. Based on this finding, we apply the cumulative error as a regularization term to reduce error propagation. Because the term is computationally intractable, we derive its upper bound and design a bootstrap algorithm to efficiently estimate the bound for optimization. We have conducted extensive experiments on multiple image datasets, showing that our proposed regularization reduces error propagation, significantly improves vanilla DMs, and outperforms previous baselines.
• Abstract（参考訳）: 拡散モデル(DM)は様々なタスク(音声合成や画像生成など)において有望な性能を示すが、連続的な構造のためエラーの伝播に悩まされる可能性がある。 しかし、条件ランダム場(CRF)のようないくつかの逐次モデルがこの問題から解放されているため、これは定かではない。 この問題に対処するために,dmsのアーキテクチャにおける誤り伝播を数学的に定式化する理論的枠組みを開発し,そのフレームワークはモジュールエラー,累積誤差,伝播方程式の3つの要素を含む。 モジュラーおよび累積誤差は、DMが実際にエラー伝播に影響を受けていることを解釈する方程式によって関連付けられる。 我々の理論的研究は、累積誤差がDMの生成品質と密接に関連していることも示唆している。 この結果に基づいて累積誤差を正規化項として適用し,誤差伝播を減少させる。 この用語は計算に難解であるため、その上界を導出し、最適化のための境界を効率的に推定するブートストラップアルゴリズムを設計する。 我々は,複数の画像データセットについて広範な実験を行い,提案手法が誤差伝播を減少させ,バニラdmsを著しく改善し,従来のベースラインを上回ることを示した。

関連論文リスト

• Mitigating Embedding Collapse in Diffusion Models for Categorical Data [52.90687881724333]
  我々は,学習を安定させる埋め込み空間内の連続拡散フレームワークであるCATDMを紹介する。 ベンチマーク実験により、CATDMは埋没崩壊を緩和し、FFHQ、LSUN教会、LSUNベッドルームにおいて優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Neural Approximate Mirror Maps for Constrained Diffusion Models [6.776705170481944]
  拡散モデルは視覚的に拘束力のある画像を作成するのに優れているが、トレーニングデータに固有の微妙な制約を満たすのに苦労することが多い。 一般制約に対するニューラル近似ミラーマップ(NAMM)を提案する。 MDMのような生成モデルは、学習されたミラー空間で訓練され、そのサンプルは逆写像によって設定された制約に復元される。
  論文  参考訳（メタデータ） (2024-06-18T17:36:09Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• A note on the error analysis of data-driven closure models for large eddy simulations of turbulence [2.4548283109365436]
  データ駆動型乱流閉鎖モデルを用いた流路予測における誤差伝搬の数学的定式化について述べる。 データ駆動クロージャモデルを用いて予測誤差の上限を求める。 また, この誤差は, ロールアウト時間とシステムジャコビアン上界とともに指数関数的に伝播することを示した。
  論文  参考訳（メタデータ） (2024-05-27T19:20:22Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• Partial Counterfactual Identification from Observational and Experimental Data [83.798237968683]
  観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。 我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
  論文  参考訳（メタデータ） (2021-10-12T02:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。