論文の概要: Improved DDIM Sampling with Moment Matching Gaussian Mixtures

• arxiv url: http://arxiv.org/abs/2311.04938v2
• Date: Thu, 18 Jan 2024 00:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 19:46:25.309021
• Title: Improved DDIM Sampling with Moment Matching Gaussian Mixtures
• Title（参考訳）: モーメントマッチングガウス混合によるDDIMサンプリングの改善
• Authors: Prasad Gabbur
• Abstract要約: 本稿では,Gaussian Mixture Model (GMM) を逆遷移演算子 (カーネル) として,DDIM(Denoising Diffusion Implicit Models) フレームワーク内で提案する。 我々は,GMMのパラメータを制約することにより,DDPMフォワードの1次と2次の中心モーメントを一致させる。 以上の結果から, GMMカーネルを使用すれば, サンプリングステップ数が少ない場合に, 生成したサンプルの品質が大幅に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 1.450405446885067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose using a Gaussian Mixture Model (GMM) as reverse transition operator (kernel) within the Denoising Diffusion Implicit Models (DDIM) framework, which is one of the most widely used approaches for accelerated sampling from pre-trained Denoising Diffusion Probabilistic Models (DDPM). Specifically we match the first and second order central moments of the DDPM forward marginals by constraining the parameters of the GMM. We see that moment matching is sufficient to obtain samples with equal or better quality than the original DDIM with Gaussian kernels. We provide experimental results with unconditional models trained on CelebAHQ and FFHQ and class-conditional models trained on ImageNet datasets respectively. Our results suggest that using the GMM kernel leads to significant improvements in the quality of the generated samples when the number of sampling steps is small, as measured by FID and IS metrics. For example on ImageNet 256x256, using 10 sampling steps, we achieve a FID of 6.94 and IS of 207.85 with a GMM kernel compared to 10.15 and 196.73 respectively with a Gaussian kernel.
• Abstract（参考訳）: 本稿では,事前学習した拡散確率モデル (ddpm) からのサンプリングを高速化するために最も広く用いられている手法の一つであるデノイジン拡散暗黙モデル (ddim) における逆遷移演算子 (kernel) としてガウス混合モデル (gmm) を用いることを提案する。 具体的には、GMMのパラメータを制約することにより、DDPMフォワードの1階と2階の中心モーメントを一致させる。 モーメントマッチングはガウス核を持つオリジナルのDDIMと同等かそれ以上の品質のサンプルを得るのに十分である。 celebahqおよびffhqでトレーニングされた非条件モデルおよびimagenetデータセットでトレーニングされたクラス条件モデルを用いて実験結果を提供する。 以上の結果から, GMMカーネルを使用すれば, サンプリングステップ数が少ない場合に, 生成したサンプルの品質が大幅に向上することが示唆された。 例えば、imagenet 256x256では10のサンプリングステップで6.94、gmmカーネルでは207.85、ガウスカーネルでは10.15と196.73である。

関連論文リスト

• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Directly Denoising Diffusion Models [6.109141407163027]
  数ステップのサンプリングで現実的な画像を生成するための単純で汎用的なアプローチであるDDDM(Directly Denoising Diffusion Model)を提案する。 本モデルでは, CIFAR-10のFIDスコアを1段階, 2段階のサンプリングで2.57と2.33とし, GANと蒸留モデルから得られたFIDスコアをそれぞれ上回った。 ImageNet 64x64の場合、当社のアプローチは主要なモデルに対する競争相手として機能します。
  論文  参考訳（メタデータ） (2024-05-22T11:20:32Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Sampling From Autoencoders' Latent Space via Quantization And Probability Mass Function Concepts [1.534667887016089]
  本稿では,確率質量関数の概念に根ざした新しい学習後サンプリングアルゴリズムと量子化プロセスを紹介する。 提案アルゴリズムは,入力データから各潜伏ベクトルの近傍を定め,その近傍からサンプルを抽出する。 この戦略的なアプローチは、サンプル化された潜伏ベクトルが主に高確率領域に居住することを保証する。
  論文  参考訳（メタデータ） (2023-08-21T13:18:12Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Image Modeling with Deep Convolutional Gaussian Mixture Models [79.0660895390689]
  画像の記述と生成に適したGMM(Deep Hierarchical Gaussian Mixture Models)の新しい定式化を紹介します。 DCGMMは、畳み込みとプーリング操作によってリンクされた複数のGMM層の積み重ねたアーキテクチャによってこれを回避している。 dcgmmsでシャープな画像を生成するために,畳み込みやプーリングなどの非可逆操作をサンプリングする新しい勾配に基づく手法を提案する。 MNISTとFashionMNISTのデータセットに基づいて,クラスタリング,サンプリング,外乱検出において,フラットなGMMよりも優れていることを示すことで,DCGMMsモデルを検証した。
  論文  参考訳（メタデータ） (2021-04-19T12:08:53Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)
• GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models [29.42264360774606]
  GAN(Generative Adversarial Network)は、ゼロサムゲームを通して観測されたサンプルの分布を学習する。 本稿では,GAT-GMM(Gene Adversarial Gaussian Models)を提案する。 GAT-GMMは2つのガウスの混合学習において期待-最大化アルゴリズムと同様に機能することを示す。
  論文  参考訳（メタデータ） (2020-06-18T06:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。