論文の概要: Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2201.06503v1
• Date: Mon, 17 Jan 2022 16:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 16:43:51.349553
• Title: Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルにおける最適逆分散の解析的推定
• Authors: Fan Bao, Chongxuan Li, Jun Zhu, Bo Zhang
• Abstract要約: 拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。 分散とKLの発散の分析形式を推定する学習自由推論フレームワークであるAnalytic-DPMを提案する。 最適分散の上下境界を導出し、より良い結果を得るために推定値をクリップする。
• 参考スコア（独自算出の注目度）: 39.11468968340014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) represent a class of powerful generative models. Despite their success, the inference of DPMs is expensive since it generally needs to iterate over thousands of timesteps. A key problem in the inference is to estimate the variance in each timestep of the reverse process. In this work, we present a surprising result that both the optimal reverse variance and the corresponding optimal KL divergence of a DPM have analytic forms w.r.t. its score function. Building upon it, we propose Analytic-DPM, a training-free inference framework that estimates the analytic forms of the variance and KL divergence using the Monte Carlo method and a pretrained score-based model. Further, to correct the potential bias caused by the score-based model, we derive both lower and upper bounds of the optimal variance and clip the estimate for a better result. Empirically, our analytic-DPM improves the log-likelihood of various DPMs, produces high-quality samples, and meanwhile enjoys a 20x to 80x speed up.
• Abstract（参考訳）: 拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。 成功にもかかわらず、一般的に数千回以上のタイムステップを繰り返す必要があるため、DPMの推測は高価である。 推論における重要な問題は、逆過程の各時間ステップにおける分散を推定することである。 本研究では、DPMの最適逆分散と対応する最適KL分散の両方が解析形式w.r.t.のスコア関数を持つという驚くべき結果を示す。 そこで本研究では,モンテカルロ法と事前学習スコアベースモデルを用いて,分散とKL分散の分析形式を推定する,学習自由推論フレームワークであるAnalytic-DPMを提案する。 さらに、スコアベースモデルによる潜在的なバイアスを補正するために、最適分散の上下境界を導出し、より良い結果を得るために見積もりをクリップする。 実験では,様々なdpmのログライク性を改善し,高品質なサンプルを生成するとともに,20倍から80倍の高速化を実現している。

関連論文リスト

• Contractive Diffusion Probabilistic Models [5.217870815854702]
  拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 我々は、DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し、新しいCDPM(Contractive DPM)のクラスを導出する。 以上の結果から,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:51:51Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models [37.18522296366212]
  拡散確率モデル(DPMs)は、強力な深層生成モデル(DGMs)のクラスである。 彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率が良くない。 我々は,DPMの表現力を向上させるために,対角および全共分散を考慮する。
  論文  参考訳（メタデータ） (2022-06-15T05:42:48Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。