論文の概要: Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2206.07309v1
• Date: Wed, 15 Jun 2022 05:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 14:32:13.879826
• Title: Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルにおける不完全平均による最適共分散の推定
• Authors: Fan Bao, Chongxuan Li, Jiacheng Sun, Jun Zhu, Bo Zhang
• Abstract要約: 拡散確率モデル(DPMs)は、強力な深層生成モデル(DGMs)のクラスである。 彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率が良くない。 我々は,DPMの表現力を向上させるために,対角および全共分散を考慮する。
• 参考スコア（独自算出の注目度）: 37.18522296366212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) are a class of powerful deep generative models (DGMs). Despite their success, the iterative generation process over the full timesteps is much less efficient than other DGMs such as GANs. Thus, the generation performance on a subset of timesteps is crucial, which is greatly influenced by the covariance design in DPMs. In this work, we consider diagonal and full covariances to improve the expressive power of DPMs. We derive the optimal result for such covariances, and then correct it when the mean of DPMs is imperfect. Both the optimal and the corrected ones can be decomposed into terms of conditional expectations over functions of noise. Building upon it, we propose to estimate the optimal covariance and its correction given imperfect mean by learning these conditional expectations. Our method can be applied to DPMs with both discrete and continuous timesteps. We consider the diagonal covariance in our implementation for computational efficiency. For an efficient practical implementation, we adopt a parameter sharing scheme and a two-stage training process. Empirically, our method outperforms a wide variety of covariance design on likelihood results, and improves the sample quality especially on a small number of timesteps.
• Abstract（参考訳）: 拡散確率モデル(distribution probabilistic models、dpms)は、強力な深層生成モデル(dgms)のクラスである。 彼らの成功にもかかわらず、フルタイムステップでの反復生成プロセスは、GANのような他のDGMよりもはるかに効率的である。 したがって、時間ステップのサブセットにおける生成性能は非常に重要であり、DPMの共分散設計に大きく影響される。 本研究では, DPMの表現力を向上させるために, 対角および全共分散を考える。 このような共分散に対する最適結果を求め, DPM の平均値が不完全である場合に補正する。 最適値と補正値の両方を雑音の関数に対する条件付き期待値に分解することができる。 そこで本研究では, 条件付き期待値の学習により, 最適共分散とその不完全平均による補正を推定する。 本手法は離散時間と連続時間の両方でDPMに適用できる。 計算効率に対する実装における対角共分散について考察する。 効率的な実践のために,パラメータ共有方式と2段階のトレーニングプロセスを採用する。 実験により,本手法は多種多様な共分散設計を高い精度で実現し,特に少数の時間ステップにおいて試料品質を向上させる。

関連論文リスト

• Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality [21.10158431913811]
  DDPMは,本質的な低次元データの自動利用により,サンプリングスピードアップを実現することができるかを検討する。 DDPMの繰り返し複雑性は$k$とほぼ線形にスケールすることが証明され、KL分散を用いて分布の相違を測定するのに最適である。
  論文  参考訳（メタデータ） (2024-10-24T14:36:12Z)
• Contractive Diffusion Probabilistic Models [5.217870815854702]
  拡散確率モデル (DPM) は生成的モデリングにおいて有望な手法である。 我々は、DPMの設計における後方サンプリングの収縮特性を新たな基準として提案し、新しいCDPM(Contractive DPM)のクラスを導出する。 以上の結果から,CDPMは単純な変換で事前学習したDPMの重みを活用でき,再学習は不要であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:51:51Z)
• DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
  DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。 約10の関数評価で高品質なサンプルを生成することができる。 実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
  論文  参考訳（メタデータ） (2023-07-21T02:28:54Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。 実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。 本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T06:40:09Z)
• Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models [39.11468968340014]
  拡散確率モデル(DPM)は、強力な生成モデルのクラスを表す。 分散とKLの発散の分析形式を推定する学習自由推論フレームワークであるAnalytic-DPMを提案する。 最適分散の上下境界を導出し、より良い結果を得るために推定値をクリップする。
  論文  参考訳（メタデータ） (2022-01-17T16:28:12Z)
• Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
  Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T17:15:07Z)
• Beyond the Mean-Field: Structured Deep Gaussian Processes Improve the Predictive Uncertainties [12.068153197381575]
  高速収束を達成しつつ、潜在過程間の共分散を維持できる新しい変分族を提案する。 新しいアプローチの効率的な実装を提供し、それをいくつかのベンチマークデータセットに適用します。 優れた結果をもたらし、最先端の代替品よりも精度とキャリブレーションされた不確実性推定とのバランスが良くなる。
  論文  参考訳（メタデータ） (2020-05-22T11:10:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。