論文の概要: Contractive Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2401.13115v1
- Date: Tue, 23 Jan 2024 21:51:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 16:07:42.318356
- Title: Contractive Diffusion Probabilistic Models
- Title(参考訳): 収縮拡散確率モデル
- Authors: Wenpin Tang and Hanyang Zhao
- Abstract要約: 拡散確率モデル (DPM) は生成的モデリングにおいて有望な技術として登場してきた。
DPMの設計における後方サンプリングの縮小という新しい基準を提案する。
これは、CDPM(Contractive DPMs)の新たなクラスに繋がる。
- 参考スコア(独自算出の注目度): 6.164223149261533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion probabilistic models (DPMs) have emerged as a promising technology
in generative modeling. The success of DPMs relies on two ingredients: time
reversal of Markov diffusion processes and score matching. Most existing work
implicitly assumes that score matching is close to perfect, while this
assumption is questionable. In view of possibly unguaranteed score matching, we
propose a new criterion -- the contraction of backward sampling in the design
of DPMs. This leads to a novel class of contractive DPMs (CDPMs), including
contractive Ornstein-Uhlenbeck (OU) processes and contractive sub-variance
preserving (sub-VP) stochastic differential equations (SDEs). The key insight
is that the contraction in the backward process narrows score matching errors,
as well as discretization error. Thus, the proposed CDPMs are robust to both
sources of error. Our proposal is supported by theoretical results, and is
corroborated by experiments. Notably, contractive sub-VP shows the best
performance among all known SDE-based DPMs on the CIFAR-10 dataset.
- Abstract(参考訳): 拡散確率モデル(DPM)は生成モデルにおいて有望な技術である。
dpmの成功は、マルコフ拡散過程の時間反転とスコアマッチングの2つの要素に依存している。
ほとんどの既存の研究は、スコアマッチングが完璧に近いと暗黙的に仮定するが、この仮定は疑わしい。
そこで本研究では, dpmの設計における後方サンプリングの縮小という, 新たな基準を提案する。
これは、契約的オルンシュタイン・ウレンベック過程(OU)や契約的部分分散保存(sub-VP)確率微分方程式(SDE)を含む、新しい契約的DPM(CDPM)のクラスにつながる。
重要な洞察は、後方プロセスの収縮が一致した誤差と離散化エラーを狭めることである。
したがって、提案したCDPMは両方のエラー源に対して堅牢である。
提案は理論的な結果によって支持され,実験によって裏付けられている。
特に、契約サブVPは、CIFAR-10データセット上のすべての既知のSDEベースのDPMの中で最高のパフォーマンスを示している。
関連論文リスト
- On the Asymptotic Mean Square Error Optimality of Diffusion
Probabilistic Models [11.36421166482957]
拡散確率モデル (DPM) は近年, タスクをデノナイズする大きな可能性を示している。
本論文は, DPM復調戦略を平均二乗誤差(MSE)-最適条件平均推定器に厳密に収束させることにより, 新たな理論的知見を提供する。
論文 参考訳(メタデータ) (2024-03-05T13:25:44Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳(メタデータ) (2023-07-21T02:28:54Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of
Diffusion Probabilistic Models [136.58244210412352]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳(メタデータ) (2023-07-20T09:06:21Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳(メタデータ) (2023-02-21T14:14:40Z) - Estimating the Optimal Covariance with Imperfect Mean in Diffusion
Probabilistic Models [37.18522296366212]
拡散確率モデル(DPMs)は、強力な深層生成モデル(DGMs)のクラスである。
彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率が良くない。
我々は,DPMの表現力を向上させるために,対角および全共分散を考慮する。
論文 参考訳(メタデータ) (2022-06-15T05:42:48Z) - Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。
DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。
DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
論文 参考訳(メタデータ) (2022-04-27T03:44:18Z) - Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。
DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。
拡散モデル(PNDM)の擬似数値法を提案する。
PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
論文 参考訳(メタデータ) (2022-02-20T10:37:52Z) - Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in
Diffusion Probabilistic Models [39.11468968340014]
拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。
分散とKLの発散の分析形式を推定する学習自由推論フレームワークであるAnalytic-DPMを提案する。
最適分散の上下境界を導出し、より良い結果を得るために推定値をクリップする。
論文 参考訳(メタデータ) (2022-01-17T16:28:12Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。