論文の概要: Denoising MCMC for Accelerating Diffusion-Based Generative Models

• arxiv url: http://arxiv.org/abs/2209.14593v1
• Date: Thu, 29 Sep 2022 07:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 16:36:37.988084
• Title: Denoising MCMC for Accelerating Diffusion-Based Generative Models
• Title（参考訳）: 拡散型生成モデルのためのデノイジングmcmc
• Authors: Beomsu Kim and Jong Chul Ye
• Abstract要約: 拡散モデルは、スコア関数を用いて拡散過程の逆をシミュレートし、ノイズからデータを合成する強力な生成モデルである。 本稿では,スコアベースサンプリングを高速化するアプローチを提案する。 DMCMC のインスタンスである Denoising Langevin Gibbs (DLG) が6つの逆S/ODE 計算タスクの高速化に成功していることを示す。
• 参考スコア（独自算出の注目度）: 54.06799491319278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models are powerful generative models that simulate the reverse of diffusion processes using score functions to synthesize data from noise. The sampling process of diffusion models can be interpreted as solving the reverse stochastic differential equation (SDE) or the ordinary differential equation (ODE) of the diffusion process, which often requires up to thousands of discretization steps to generate a single image. This has sparked a great interest in developing efficient integration techniques for reverse-S/ODEs. Here, we propose an orthogonal approach to accelerating score-based sampling: Denoising MCMC (DMCMC). DMCMC first uses MCMC to produce samples in the product space of data and variance (or diffusion time). Then, a reverse-S/ODE integrator is used to denoise the MCMC samples. Since MCMC traverses close to the data manifold, the computation cost of producing a clean sample for DMCMC is much less than that of producing a clean sample from noise. To verify the proposed concept, we show that Denoising Langevin Gibbs (DLG), an instance of DMCMC, successfully accelerates all six reverse-S/ODE integrators considered in this work on the tasks of CIFAR10 and CelebA-HQ-256 image generation. Notably, combined with integrators of Karras et al. (2022) and pre-trained score models of Song et al. (2021b), DLG achieves SOTA results. In the limited number of score function evaluation (NFE) settings on CIFAR10, we have $3.86$ FID with $\approx 10$ NFE and $2.63$ FID with $\approx 20$ NFE. On CelebA-HQ-256, we have $6.99$ FID with $\approx 160$ NFE, which beats the current best record of Kim et al. (2022) among score-based models, $7.16$ FID with $4000$ NFE. Code: https://github.com/1202kbs/DMCMC
• Abstract（参考訳）: 拡散モデルは、スコア関数を用いて拡散過程の逆をシミュレートし、ノイズからデータを合成する強力な生成モデルである。 拡散モデルのサンプリング過程は、拡散過程の逆確率微分方程式(SDE)や通常の微分方程式(ODE)を解くものと解釈できる。 このことが、リバースS/ODEの効率的な統合技術開発に大きな関心を呼んだ。 本稿では,MCMC (Denoising MCMC, DMCMC) のスコアベースサンプリングを高速化するための直交的アプローチを提案する。 DMCMCは、まずMCMCを使用してデータと分散(または拡散時間)の積空間のサンプルを生成する。 次に、逆S/ODE積分器を用いてMCMCサンプルを復調する。 MCMCはデータ多様体の近傍を走行するため, DMCMC用クリーンサンプルの生成コストは, ノイズからクリーンサンプルを生成するコストよりもはるかに低い。 DMCMCの例であるDenoising Langevin Gibbs (DLG) は、CIFAR10とCelebA-HQ-256の画像生成のタスクで考慮された6つの逆S/ODEインテグレータの高速化に成功した。 特に、Karras et al. (2022) の積分器と、Song et al. (2021b) の事前学習スコアモデルを組み合わせることで、DLGはSOTAの結果を得る。 CIFAR10のスコア関数評価(NFE)の限られた数では、$\approx 10$ NFEのFIDが3.86ドル、$\approx 20$ NFEのFIDが2.63ドルである。 CelebA-HQ-256では、$\approx 160$ NFEのFIDが6.99ドルであり、スコアベースモデルのKimら(2022年)の最高記録、$4,000$ NFEのFIDが7.16ドルとなっている。 コード:https://github.com/1202kbs/DMCMC

関連論文リスト

• EMC$^2$: Efficient MCMC Negative Sampling for Contrastive Learning with Global Convergence [43.96096434967746]
  対照的学習における鍵となる課題は、正のサンプルと対照的に大きなサンプルセットから負のサンプルを生成することである。 コントラスト学習のための効率的なマルコフ連鎖モンテカルロ陰性サンプリング法(EMC$2$)を提案する。 EMC$2$は,バッチサイズの選択に関係なく,グローバル収束(定常性)を示す最初のアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2024-04-16T13:53:58Z)
• Improved DDIM Sampling with Moment Matching Gaussian Mixtures [1.450405446885067]
  本稿では,Gaussian Mixture Model (GMM) を逆遷移演算子 (カーネル) として,DDIM(Denoising Diffusion Implicit Models) フレームワーク内で提案する。 我々は,GMMのパラメータを制約することにより,DDPMフォワードの1次と2次の中心モーメントを一致させる。 以上の結果から, GMMカーネルを使用すれば, サンプリングステップ数が少ない場合に, 生成したサンプルの品質が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-11-08T00:24:50Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Speed up the inference of diffusion models via shortcut MCMC sampling [4.982806898121435]
  拡散確率モデルは最近、高品質な画像合成を生み出している。 1つの問題点は、何千ものステップで徐々に鮮明な画像を得る悪名高い推測である。 本稿では,学習と推論のバランスを保ちながら,生成したデータの質を維持しながら,MCMCサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-18T07:37:26Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。