論文の概要: The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.17068v2
• Date: Tue, 29 Oct 2024 05:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:37.403667
• Title: The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models
• Title（参考訳）: ランゲヴィンダイナミクスのポアソン中間点法:拡散モデルにおける効率的な離散化の可能性
• Authors: Saravanan Kandasamy, Dheeraj Nagaraj,
• Abstract要約: ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、最も単純かつ最も研究されたアルゴリズムである。 本稿では, ステップサイズが大きい小型LCCを近似したPoisson Midpoint Methodを提案する。 DDPMは,わずか50～80のニューラルネットワークコールで1000件のニューラルネットワークコールで品質を維持し,同様の計算でODEベースの手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.392691963008385
• License:
• Abstract: Langevin Dynamics is a Stochastic Differential Equation (SDE) central to sampling and generative modeling and is implemented via time discretization. Langevin Monte Carlo (LMC), based on the Euler-Maruyama discretization, is the simplest and most studied algorithm. LMC can suffer from slow convergence - requiring a large number of steps of small step-size to obtain good quality samples. This becomes stark in the case of diffusion models where a large number of steps gives the best samples, but the quality degrades rapidly with smaller number of steps. Randomized Midpoint Method has been recently proposed as a better discretization of Langevin dynamics for sampling from strongly log-concave distributions. However, important applications such as diffusion models involve non-log concave densities and contain time varying drift. We propose its variant, the Poisson Midpoint Method, which approximates a small step-size LMC with large step-sizes. We prove that this can obtain a quadratic speed up of LMC under very weak assumptions. We apply our method to diffusion models for image generation and show that it maintains the quality of DDPM with 1000 neural network calls with just 50-80 neural network calls and outperforms ODE based methods with similar compute.
• Abstract（参考訳）: Langevin Dynamicsは、サンプリングと生成モデリングの中心となる確率微分方程式(SDE)であり、時間離散化によって実装されている。 オイラー・マルヤマ離散化に基づくランゲヴィン・モンテカルロ(LMC)は最も単純かつ最も研究されたアルゴリズムである。 LMCは緩やかな収束に悩まされ、品質のよいサンプルを得るためには小さなステップのステップをたくさん必要とします。 これは、多数のステップが最高のサンプルを与える拡散モデルの場合、非常に重要になるが、品質はより少ないステップで急速に低下する。 ランダム化中点法(Randomized Midpoint Method)は, 強対数圏分布からのサンプリングのために, ランゲヴィン力学のより優れた離散化法として提案されている。 しかし、拡散モデルのような重要な応用は、非ログ凹凸密度を含み、時間的に異なるドリフトを含む。 そこで我々は,その変種であるPoisson Midpoint Methodを提案する。 これは非常に弱い仮定の下で LMC の二次的なスピードアップが得られることを証明している。 画像生成のための拡散モデルに本手法を適用し,1000のニューラル・ネットワーク・コールと50-80のニューラル・ネットワーク・コールを併用したDDPMの品質を維持できることを示す。

関連論文リスト

• Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
  投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。 我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。 本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-09T16:50:16Z)
• Parallel simulation for sampling under isoperimetry and score-based diffusion models [56.39904484784127]
  データサイズが大きくなるにつれて、イテレーションコストの削減が重要な目標になります。 科学計算における初期値問題の並列シミュレーションの成功に触発されて,タスクをサンプリングするための並列Picard法を提案する。 本研究は,動力学に基づくサンプリング・拡散モデルの科学的計算におけるシミュレーション手法の潜在的利点を強調した。
  論文  参考訳（メタデータ） (2024-12-10T11:50:46Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Accelerating Markov Chain Monte Carlo sampling with diffusion models [0.0]
  本稿では,Metropolis-Hastingsアルゴリズムと拡散モデルを組み合わせることで,マルコフ・チェイン・モンテカルロ(MCMC)サンプリングを高速化する新しい手法を提案する。 画像合成の文脈における拡散モデルについて概観し、低次元データアレイに適した流線形拡散モデルを提供する。 提案手法は,後方の正確な表現を得るために必要な可能性評価の回数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-09-04T09:03:41Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。