論文の概要: The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.17068v1
• Date: Mon, 27 May 2024 11:40:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:42:27.320711
• Title: The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models
• Title（参考訳）: ランゲヴィンダイナミクスのポアソン中間点法:拡散モデルにおける効率的な離散化の可能性
• Authors: Saravanan Kandasamy, Dheeraj Nagaraj,
• Abstract要約: ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、最も単純かつ最も研究されたアルゴリズムである。 本稿では, ステップサイズが大きい小型LCCを近似したPoisson Midpoint Methodを提案する。 DDPMは,わずか50～80のニューラルネットワークコールで1000件のニューラルネットワークコールで品質を維持し,同様の計算でODEベースの手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.392691963008385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Langevin Dynamics is a Stochastic Differential Equation (SDE) central to sampling and generative modeling and is implemented via time discretization. Langevin Monte Carlo (LMC), based on the Euler-Maruyama discretization, is the simplest and most studied algorithm. LMC can suffer from slow convergence - requiring a large number of steps of small step-size to obtain good quality samples. This becomes stark in the case of diffusion models where a large number of steps gives the best samples, but the quality degrades rapidly with smaller number of steps. Randomized Midpoint Method has been recently proposed as a better discretization of Langevin dynamics for sampling from strongly log-concave distributions. However, important applications such as diffusion models involve non-log concave densities and contain time varying drift. We propose its variant, the Poisson Midpoint Method, which approximates a small step-size LMC with large step-sizes. We prove that this can obtain a quadratic speed up of LMC under very weak assumptions. We apply our method to diffusion models for image generation and show that it maintains the quality of DDPM with 1000 neural network calls with just 50-80 neural network calls and outperforms ODE based methods with similar compute.
• Abstract（参考訳）: Langevin Dynamicsは、サンプリングと生成モデリングの中心となる確率微分方程式(SDE)であり、時間離散化によって実装されている。 オイラー・マルヤマ離散化に基づくランゲヴィン・モンテカルロ(LMC)は最も単純かつ最も研究されたアルゴリズムである。 LMCは緩やかな収束に悩まされ、品質のよいサンプルを得るためには小さなステップのステップをたくさん必要とします。 これは、多数のステップが最高のサンプルを与える拡散モデルの場合、非常に重要になるが、品質はより少ないステップで急速に低下する。 ランダム化中点法(Randomized Midpoint Method)は, 強対数圏分布からのサンプリングのために, ランゲヴィン力学のより優れた離散化法として提案されている。 しかし、拡散モデルのような重要な応用は、非ログ凹凸密度を含み、時間的に異なるドリフトを含む。 そこで我々は,その変種であるPoisson Midpoint Methodを提案する。 これは非常に弱い仮定の下で LMC の二次的なスピードアップが得られることを証明している。 画像生成のための拡散モデルに本手法を適用し,1000のニューラル・ネットワーク・コールと50-80のニューラル・ネットワーク・コールを併用したDDPMの品質を維持できることを示す。

関連論文リスト

• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
  本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。 画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。 提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-09-04T09:03:41Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。