論文の概要: Lookahead Diffusion Probabilistic Models for Refining Mean Estimation

• arxiv url: http://arxiv.org/abs/2304.11312v1
• Date: Sat, 22 Apr 2023 03:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:16:30.294141
• Title: Lookahead Diffusion Probabilistic Models for Refining Mean Estimation
• Title（参考訳）: 平均値推定のためのルックアヘッド拡散確率モデル
• Authors: Guoqiang Zhang, Niwa Kenta, W. Bastiaan Kleijn
• Abstract要約: 本研究では,拡散確率モデル(DPM)における後続の時間ステップよりも深部ニューラルネットワーク(DNN)の出力の相関性を利用するLA-DPMを提案する。 典型的なDPMは、最新の$boldsymbolz_i$とindex $i$をDNNモデルに入力することで、最初に元のデータサンプル$boldsymbolx$の推定値を取得する。 我々は$boldsymbolx$の2つの推定値に対して$boldsymbolx$を供給して得られる外挿を行うことにより、より正確な$boldsymbolx$の推定値を計算することを提案する。
• 参考スコア（独自算出の注目度）: 23.424045204296437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose lookahead diffusion probabilistic models (LA-DPMs) to exploit the correlation in the outputs of the deep neural networks (DNNs) over subsequent timesteps in diffusion probabilistic models (DPMs) to refine the mean estimation of the conditional Gaussian distributions in the backward process. A typical DPM first obtains an estimate of the original data sample $\boldsymbol{x}$ by feeding the most recent state $\boldsymbol{z}_i$ and index $i$ into the DNN model and then computes the mean vector of the conditional Gaussian distribution for $\boldsymbol{z}_{i-1}$. We propose to calculate a more accurate estimate for $\boldsymbol{x}$ by performing extrapolation on the two estimates of $\boldsymbol{x}$ that are obtained by feeding $(\boldsymbol{z}_{i+1},i+1)$ and $(\boldsymbol{z}_{i},i)$ into the DNN model. The extrapolation can be easily integrated into the backward process of existing DPMs by introducing an additional connection over two consecutive timesteps, and fine-tuning is not required. Extensive experiments showed that plugging in the additional connection into DDPM, DDIM, DEIS, S-PNDM, and high-order DPM-Solvers leads to a significant performance gain in terms of FID score.
• Abstract（参考訳）: 本研究では, 深部ニューラルネットワーク(DNN)の出力と拡散確率モデル(DPM)の時間経過の相関を利用して, 後方過程における条件付きガウス分布の平均推定を改良するルックアヘッド拡散確率モデル(LA-DPM)を提案する。 典型的な DPM は DNN モデルに最新の状態 $\boldsymbol{z}_i$ と index $i$ を供給し、次に条件付きガウス分布の平均ベクトルを $\boldsymbol{z}_{i-1}$ で計算することで、元のデータサンプル $\boldsymbol{x}$ の推定値を得る。 DNNモデルに$(\boldsymbol{z}_{i+1},i+1)$と$(\boldsymbol{z}_{i+1},i)$を供給して得られる$(\boldsymbol{x},i)$の2つの推定値に対する外挿を行うことにより、$\boldsymbol{x}$のより正確な推定を計算することを提案する。 補間は、2つの連続した時間ステップに付加的な接続を導入することで既存のDPMの後方プロセスに容易に統合でき、微調整は不要である。 DDPM, DDIM, DEIS, S-PNDM, および高次DPM-Solversへの追加接続がFIDスコアにおいて顕著な性能向上をもたらすことを示した。

関連論文リスト

• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
  薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。 事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
  論文  参考訳（メタデータ） (2024-07-21T15:49:05Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric Positive Definite Space [47.65912121120524]
  本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。 我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。 おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:08:54Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。