論文の概要: Contractive Diffusion Probabilistic Models
- arxiv url: http://arxiv.org/abs/2401.13115v1
- Date: Tue, 23 Jan 2024 21:51:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 16:07:42.318356
- Title: Contractive Diffusion Probabilistic Models
- Title（参考訳）: 収縮拡散確率モデル
- Authors: Wenpin Tang and Hanyang Zhao
- Abstract要約: 拡散確率モデル (DPM) は生成的モデリングにおいて有望な技術として登場してきた。
DPMの設計における後方サンプリングの縮小という新しい基準を提案する。
これは、CDPM(Contractive DPMs)の新たなクラスに繋がる。
- 参考スコア（独自算出の注目度）: 6.164223149261533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion probabilistic models (DPMs) have emerged as a promising technology
in generative modeling. The success of DPMs relies on two ingredients: time
reversal of Markov diffusion processes and score matching. Most existing work
implicitly assumes that score matching is close to perfect, while this
assumption is questionable. In view of possibly unguaranteed score matching, we
propose a new criterion -- the contraction of backward sampling in the design
of DPMs. This leads to a novel class of contractive DPMs (CDPMs), including
contractive Ornstein-Uhlenbeck (OU) processes and contractive sub-variance
preserving (sub-VP) stochastic differential equations (SDEs). The key insight
is that the contraction in the backward process narrows score matching errors,
as well as discretization error. Thus, the proposed CDPMs are robust to both
sources of error. Our proposal is supported by theoretical results, and is
corroborated by experiments. Notably, contractive sub-VP shows the best
performance among all known SDE-based DPMs on the CIFAR-10 dataset.
- Abstract（参考訳）: 拡散確率モデル(DPM)は生成モデルにおいて有望な技術である。
dpmの成功は、マルコフ拡散過程の時間反転とスコアマッチングの2つの要素に依存している。
ほとんどの既存の研究は、スコアマッチングが完璧に近いと暗黙的に仮定するが、この仮定は疑わしい。
そこで本研究では, dpmの設計における後方サンプリングの縮小という, 新たな基準を提案する。
これは、契約的オルンシュタイン・ウレンベック過程(OU)や契約的部分分散保存(sub-VP)確率微分方程式(SDE)を含む、新しい契約的DPM(CDPM)のクラスにつながる。
重要な洞察は、後方プロセスの収縮が一致した誤差と離散化エラーを狭めることである。
したがって、提案したCDPMは両方のエラー源に対して堅牢である。
提案は理論的な結果によって支持され,実験によって裏付けられている。
特に、契約サブVPは、CIFAR-10データセット上のすべての既知のSDEベースのDPMの中で最高のパフォーマンスを示している。
関連論文リスト
- DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳（メタデータ） (2024-09-05T17:59:46Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳（メタデータ） (2023-07-21T02:28:54Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳（メタデータ） (2023-07-20T09:06:21Z) - Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。
これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。
モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T21:39:27Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳（メタデータ） (2023-02-21T14:14:40Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-09T18:59:48Z) - Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。
DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。
DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
論文 参考訳（メタデータ） (2022-04-27T03:44:18Z) - Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in
Diffusion Probabilistic Models [39.11468968340014]
拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。
分散とKLの発散の分析形式を推定する学習自由推論フレームワークであるAnalytic-DPMを提案する。
最適分散の上下境界を導出し、より良い結果を得るために推定値をクリップする。
論文 参考訳（メタデータ） (2022-01-17T16:28:12Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳（メタデータ） (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。