論文の概要: Towards Fast Stochastic Sampling in Diffusion Generative Models
- arxiv url: http://arxiv.org/abs/2402.07211v1
- Date: Sun, 11 Feb 2024 14:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:55:18.185036
- Title: Towards Fast Stochastic Sampling in Diffusion Generative Models
- Title（参考訳）: 拡散生成モデルにおける高速確率サンプリングに向けて
- Authors: Kushagra Pandey, Maja Rudolph, Stephan Mandt
- Abstract要約: 拡散モデルは、推論時に遅いサンプル生成に悩まされる。
拡張空間における事前学習拡散モデルにおける高速サンプリングのための分割法を提案する。
本研究では,スプリッティングの単純適用が高速サンプリングに最適であることを示す。
- 参考スコア（独自算出の注目度）: 22.01769257075573
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Diffusion models suffer from slow sample generation at inference time.
Despite recent efforts, improving the sampling efficiency of stochastic
samplers for diffusion models remains a promising direction. We propose
Splitting Integrators for fast stochastic sampling in pre-trained diffusion
models in augmented spaces. Commonly used in molecular dynamics,
splitting-based integrators attempt to improve sampling efficiency by cleverly
alternating between numerical updates involving the data, auxiliary, or noise
variables. However, we show that a naive application of splitting integrators
is sub-optimal for fast sampling. Consequently, we propose several principled
modifications to naive splitting samplers for improving sampling efficiency and
denote the resulting samplers as Reduced Splitting Integrators. In the context
of Phase Space Langevin Diffusion (PSLD) [Pandey \& Mandt, 2023] on CIFAR-10,
our stochastic sampler achieves an FID score of 2.36 in only 100 network
function evaluations (NFE) as compared to 2.63 for the best baselines.
- Abstract（参考訳）: 拡散モデルは、推論時に遅いサンプル生成に苦しむ。
近年の取り組みにもかかわらず、拡散モデルに対する確率的サンプリング器のサンプリング効率の改善は期待できる方向である。
拡張空間における事前学習拡散モデルにおける高速確率サンプリングのための分割積分器を提案する。
分子動力学で一般的に用いられるスプリッティングベースの積分器は、データ、補助変数、ノイズ変数を含む数値更新を巧みに交互に行い、サンプリング効率を改善する。
しかし,スプリット・インテグレータのナイーブな応用は,高速サンプリングに最適であることを示す。
そこで本研究では, サンプリング効率を向上させるために, ナイーブ分割スプリマーの原理的修正を複数提案し, 結果として得られたスプリマーを縮小分割インテグレータとして表現する。
CIFAR-10における位相空間ランゲヴィン拡散(PSLD) [Pandey \& Mandt, 2023] の文脈において, この確率的サンプリング器は, ネットワーク関数評価(NFE)100点中2.36点のFIDスコアを, 最良ベースラインの2.63点と比較した。
関連論文リスト
- DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳（メタデータ） (2024-09-05T17:59:46Z) - Diffusion Rejection Sampling [13.945372555871414]
Diffusion Rejection Sampling (DiffRS) は、サンプリングされたトランジションカーネルを各タイムステップで真のカーネルと整列するリジェクションサンプリングスキームである。
提案手法は, 各中間段階における試料の品質を評価し, 試料に応じて異なる作業で精製する機構とみなすことができる。
実験により,ベンチマークデータセット上でのDiffRSの最先端性能と高速拡散サンプリングおよび大規模テキスト・画像拡散モデルに対するDiffRSの有効性を実証した。
論文 参考訳（メタデータ） (2024-05-28T07:00:28Z) - Score-based Generative Models with Adaptive Momentum [40.84399531998246]
変換過程を高速化する適応運動量サンプリング法を提案する。
提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
論文 参考訳（メタデータ） (2024-05-22T15:20:27Z) - Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。
本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。
周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
論文 参考訳（メタデータ） (2024-03-26T16:57:55Z) - Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
反復Denoising Energy Matching (iDEM)
iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。
提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
論文 参考訳（メタデータ） (2024-02-09T01:11:23Z) - Sampler Scheduler for Diffusion Models [0.0]
拡散モデリング(DM)は高品質な生成性能を有する。
現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。
そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
論文 参考訳（メタデータ） (2023-11-12T13:35:25Z) - Efficient Integrators for Diffusion Generative Models [22.01769257075573]
拡散モデルは、推論時に遅いサンプル生成に悩まされる。
事前学習モデルにおけるサンプル生成を高速化するための2つの補完的フレームワークを提案する。
本稿では,拡張空間における拡散モデルにおける最良報告性能を実現するハイブリッド手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T21:04:42Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T18:49:22Z) - Parallel Sampling of Diffusion Models [76.3124029406809]
拡散モデルは強力な生成モデルであるが、サンプリングが遅い。
そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
論文 参考訳（メタデータ） (2023-05-25T17:59:42Z) - Learning Fast Samplers for Diffusion Models by Differentiating Through
Sample Quality [44.37533757879762]
差分拡散サンプリングサーチ(DDSS)は,任意の事前学習拡散モデルに対して高速サンプリングを最適化する手法である。
また、拡散モデルのためのフレキシブルな非マルコフ型サンプルモデルのファミリーである一般化ガウス拡散モデル(GGDM)を提示する。
本手法は, 微調整や再学習の必要なく, 事前学習した拡散モデルと互換性がある。
論文 参考訳（メタデータ） (2022-02-11T18:53:18Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳（メタデータ） (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。