論文の概要: Learning to Efficiently Sample from Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2106.03802v1
• Date: Mon, 7 Jun 2021 17:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:46:18.244925
• Title: Learning to Efficiently Sample from Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルから効率的なサンプルの学習
• Authors: Daniel Watson and Jonathan Ho and Mohammad Norouzi and William Chan
• Abstract要約: Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。 我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 49.58748345998702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Denoising Diffusion Probabilistic Models (DDPMs) have emerged as a powerful family of generative models that can yield high-fidelity samples and competitive log-likelihoods across a range of domains, including image and speech synthesis. Key advantages of DDPMs include ease of training, in contrast to generative adversarial networks, and speed of generation, in contrast to autoregressive models. However, DDPMs typically require hundreds-to-thousands of steps to generate a high fidelity sample, making them prohibitively expensive for high dimensional problems. Fortunately, DDPMs allow trading generation speed for sample quality through adjusting the number of refinement steps as a post process. Prior work has been successful in improving generation speed through handcrafting the time schedule by trial and error. We instead view the selection of the inference time schedules as an optimization problem, and introduce an exact dynamic programming algorithm that finds the optimal discrete time schedules for any pre-trained DDPM. Our method exploits the fact that ELBO can be decomposed into separate KL terms, and given any computation budget, discovers the time schedule that maximizes the training ELBO exactly. Our method is efficient, has no hyper-parameters of its own, and can be applied to any pre-trained DDPM with no retraining. We discover inference time schedules requiring as few as 32 refinement steps, while sacrificing less than 0.1 bits per dimension compared to the default 4,000 steps used on ImageNet 64x64 [Ho et al., 2020; Nichol and Dhariwal, 2021].
• Abstract（参考訳）: Denoising Diffusion Probabilistic Models (DDPM) は、画像や音声合成を含む様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる強力な生成モデルのファミリーとして登場した。 DDPMの主な利点は、生成的敵ネットワークとは対照的に訓練の容易さ、自己回帰モデルとは対照的に生成速度である。 しかし、DDPMは通常、高忠実度サンプルを生成するために数百から数千のステップを必要とするため、高次元問題に対して極めて高価である。 幸いなことにDDPMは、ポストプロセスとして精錬工程の数を調整することで、サンプル品質のトレーディング生成速度を許容している。 以前の作業は、試行錯誤によって時間スケジュールを手作りすることで、生成速度を改善することに成功した。 そこで我々は,予測時間スケジュールの選択を最適化問題とみなし,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。 提案手法では,elboを分離したkl項に分解し,計算予算を考慮すれば,エルボのトレーニングを最大化する時間スケジュールを発見することができる。 本手法は効率的であり,ハイパーパラメータを持たないため,事前学習したddpmをリトレーニングすることなく適用できる。 ImageNet 64x64[Ho et al., 2020; Nichol and Dhariwal, 2021]で使用されるデフォルトの4000ステップと比較して,1次元あたり0.1ビット以下を犠牲にしながら,32ステップまでの推論時間スケジュールを見つける。

関連論文リスト

• T-Stitch: Accelerating Sampling in Pre-Trained Diffusion Models with Trajectory Stitching [143.72720563387082]
  Trajectory Stitching T-Stitchは, ほとんどあるいは全く発生しないことなくサンプリング効率を向上させるための, 単純かつ効率的な手法である。 我々の重要な洞察は、異なる拡散モデルが同じトレーニングデータ分布の下で同様のエンコーディングを学ぶことである。 また,本手法は,SDモデルの高速化を目的としたドロップイン手法としても利用できる。
  論文  参考訳（メタデータ） (2024-02-21T23:08:54Z)
• AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
  本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。 実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-19T08:57:24Z)
• OMS-DPM: Optimizing the Model Schedule for Diffusion Probabilistic Models [14.247927015966791]
  拡散確率モデル(英: Diffusion Probabilistic Model、DPM)は、最先端の生成品質を達成した新しい生成モデルである。 DPMの大きな欠点のひとつは、生成プロセスに必要な多数のニューラルネットワーク評価のために、生成速度が遅いことだ。 我々は、任意の生成時間予算と事前学習モデルのセットを与えられたモデルスケジュールを最適化するために、予測器ベースの探索アルゴリズムであるOMS-DPMを設計する。
  論文  参考訳（メタデータ） (2023-06-15T05:04:39Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• Fast Diffusion Probabilistic Model Sampling through the lens of Backward Error Analysis [26.907301901503835]
  拡散確率モデル (DDPM) は強力な生成モデルの一種である。 DDPMは通常、サンプルを生成するために数百から数千の連続関数評価(ステップ)を必要とする。 本稿では,高い試料品質を維持しつつ,ステップの少ないDDPMの高速サンプリング法を開発することを目的とする。
  論文  参考訳（メタデータ） (2023-04-22T16:58:47Z)
• Pseudo Numerical Methods for Diffusion Models on Manifolds [77.40343577960712]
  Denoising Diffusion Probabilistic Models (DDPM) は、画像やオーディオサンプルなどの高品質なサンプルを生成することができる。 DDPMは最終的なサンプルを生成するために数百から数千のイテレーションを必要とする。 拡散モデル(PNDM)の擬似数値法を提案する。 PNDMは、1000段DDIM(20倍の高速化)と比較して、50段の精度で高品質な合成画像を生成することができる
  論文  参考訳（メタデータ） (2022-02-20T10:37:52Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。