論文の概要: Lookahead Diffusion Probabilistic Models for Refining Mean Estimation
- arxiv url: http://arxiv.org/abs/2304.11312v1
- Date: Sat, 22 Apr 2023 03:58:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 19:16:30.294141
- Title: Lookahead Diffusion Probabilistic Models for Refining Mean Estimation
- Title(参考訳): 平均値推定のためのルックアヘッド拡散確率モデル
- Authors: Guoqiang Zhang, Niwa Kenta, W. Bastiaan Kleijn
- Abstract要約: 本研究では,拡散確率モデル(DPM)における後続の時間ステップよりも深部ニューラルネットワーク(DNN)の出力の相関性を利用するLA-DPMを提案する。
典型的なDPMは、最新の$boldsymbolz_i$とindex $i$をDNNモデルに入力することで、最初に元のデータサンプル$boldsymbolx$の推定値を取得する。
我々は$boldsymbolx$の2つの推定値に対して$boldsymbolx$を供給して得られる外挿を行うことにより、より正確な$boldsymbolx$の推定値を計算することを提案する。
- 参考スコア(独自算出の注目度): 23.424045204296437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose lookahead diffusion probabilistic models (LA-DPMs) to exploit the
correlation in the outputs of the deep neural networks (DNNs) over subsequent
timesteps in diffusion probabilistic models (DPMs) to refine the mean
estimation of the conditional Gaussian distributions in the backward process. A
typical DPM first obtains an estimate of the original data sample
$\boldsymbol{x}$ by feeding the most recent state $\boldsymbol{z}_i$ and index
$i$ into the DNN model and then computes the mean vector of the conditional
Gaussian distribution for $\boldsymbol{z}_{i-1}$. We propose to calculate a
more accurate estimate for $\boldsymbol{x}$ by performing extrapolation on the
two estimates of $\boldsymbol{x}$ that are obtained by feeding
$(\boldsymbol{z}_{i+1},i+1)$ and $(\boldsymbol{z}_{i},i)$ into the DNN model.
The extrapolation can be easily integrated into the backward process of
existing DPMs by introducing an additional connection over two consecutive
timesteps, and fine-tuning is not required. Extensive experiments showed that
plugging in the additional connection into DDPM, DDIM, DEIS, S-PNDM, and
high-order DPM-Solvers leads to a significant performance gain in terms of FID
score.
- Abstract(参考訳): 本研究では, 深部ニューラルネットワーク(DNN)の出力と拡散確率モデル(DPM)の時間経過の相関を利用して, 後方過程における条件付きガウス分布の平均推定を改良するルックアヘッド拡散確率モデル(LA-DPM)を提案する。
典型的な DPM は DNN モデルに最新の状態 $\boldsymbol{z}_i$ と index $i$ を供給し、次に条件付きガウス分布の平均ベクトルを $\boldsymbol{z}_{i-1}$ で計算することで、元のデータサンプル $\boldsymbol{x}$ の推定値を得る。
DNNモデルに$(\boldsymbol{z}_{i+1},i+1)$と$(\boldsymbol{z}_{i+1},i)$を供給して得られる$(\boldsymbol{x},i)$の2つの推定値に対する外挿を行うことにより、$\boldsymbol{x}$のより正確な推定を計算することを提案する。
補間は、2つの連続した時間ステップに付加的な接続を導入することで既存のDPMの後方プロセスに容易に統合でき、微調整は不要である。
DDPM, DDIM, DEIS, S-PNDM, および高次DPM-Solversへの追加接続がFIDスコアにおいて顕著な性能向上をもたらすことを示した。
関連論文リスト
- Accelerating Convergence of Score-Based Diffusion Models, Provably [44.11766377798812]
スコアベース拡散モデルはしばしばサンプリングフェーズで必要とされる広範な機能評価のためにサンプリング速度の低下に悩まされる。
我々は、一般的な決定論的(DDIM)および(DDPM)サンプリングを高速化する、新しいトレーニングフリーアルゴリズムを設計する。
我々の理論は、$ell$-accurate score estimatesを許容し、ターゲット分布に対数凹凸や滑らかさを必要としない。
論文 参考訳(メタデータ) (2024-03-06T17:02:39Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric
Positive Definite Space [47.65912121120524]
本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。
我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。
おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
論文 参考訳(メタデータ) (2023-12-13T15:08:54Z) - Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳(メタデータ) (2023-08-07T16:01:14Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳(メタデータ) (2023-02-21T14:14:40Z) - Star-Shaped Denoising Diffusion Probabilistic Models [5.167803438665587]
星形DDPM(SSDDPM)について紹介する。
実装はhttps://github.com/andreyokhotin/star-shaped.comで公開しています。
論文 参考訳(メタデータ) (2023-02-10T14:16:21Z) - CARD: Classification and Regression Diffusion Models [51.0421331214229]
本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。
おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
論文 参考訳(メタデータ) (2022-06-15T03:30:38Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。