論文の概要: A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2312.07243v1
• Date: Tue, 12 Dec 2023 13:19:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:00:24.156756
• Title: A Unified Sampling Framework for Solver Searching of Diffusion Probabilistic Models
• Title（参考訳）: 拡散確率モデルの解探索のための統一サンプリングフレームワーク
• Authors: Enshu Liu, Xuefei Ning, Huazhong Yang, Yu Wang
• Abstract要約: 本稿では,一元化サンプリングフレームワーク (USF) を提案する。 この枠組みでは,異なるタイミングで異なる解法をとることで,トラルニケートエラーの低減が図られる。 S3$は、最先端のサンプリング手法よりも優れた解法スケジュールを見つけることができることを実証する。
• 参考スコア（独自算出の注目度）: 21.305868355976394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed the rapid progress and broad application of diffusion probabilistic models (DPMs). Sampling from DPMs can be viewed as solving an ordinary differential equation (ODE). Despite the promising performance, the generation of DPMs usually consumes much time due to the large number of function evaluations (NFE). Though recent works have accelerated the sampling to around 20 steps with high-order solvers, the sample quality with less than 10 NFE can still be improved. In this paper, we propose a unified sampling framework (USF) to study the optional strategies for solver. Under this framework, we further reveal that taking different solving strategies at different timesteps may help further decrease the truncation error, and a carefully designed \emph{solver schedule} has the potential to improve the sample quality by a large margin. Therefore, we propose a new sampling framework based on the exponential integral formulation that allows free choices of solver strategy at each step and design specific decisions for the framework. Moreover, we propose $S^3$, a predictor-based search method that automatically optimizes the solver schedule to get a better time-quality trade-off of sampling. We demonstrate that $S^3$ can find outstanding solver schedules which outperform the state-of-the-art sampling methods on CIFAR-10, CelebA, ImageNet, and LSUN-Bedroom datasets. Specifically, we achieve 2.69 FID with 10 NFE and 6.86 FID with 5 NFE on CIFAR-10 dataset, outperforming the SOTA method significantly. We further apply $S^3$ to Stable-Diffusion model and get an acceleration ratio of 2$\times$, showing the feasibility of sampling in very few steps without retraining the neural network.
• Abstract（参考訳）: 近年,拡散確率モデル(dpms)の急速な進歩と幅広い応用が注目されている。 DPMからのサンプリングは、通常の微分方程式(ODE)の解法と見なすことができる。 有望な性能にもかかわらず、DPMの生成は通常、多数の機能評価(NFE)のために多くの時間を消費する。 近年の研究では、高次解法を用いて20ステップ程度のサンプリングを加速しているが、10nfe未満のサンプル品質は改善できる。 本稿では,ソルバのオプション戦略を検討するための統一サンプリングフレームワーク(usf)を提案する。 この枠組みでは, 異なるタイミングで異なる解法を採ることにより, トラクション誤差の低減が図られ, 慎重に設計された 'emph{solver schedule} は, サンプルの品質を大きなマージンで向上させる可能性がある。 そこで我々は,指数積分定式化に基づく新しいサンプリングフレームワークを提案し,各ステップで解法戦略を自由に選択し,そのフレームワークの具体的な決定を設計する。 さらに,ソルバスケジュールを自動的に最適化し,サンプリングの時間的品質のトレードオフを改善する予測型探索手法である$s^3$を提案する。 我々は、CIFAR-10, CelebA, ImageNet, LSUN-Bedroomデータセットの最先端サンプリング手法より優れた解法スケジュールを見つけることができることを示した。 具体的には、10 NFEと6.86 FIDと5 NFEの2.69 FIDをCIFAR-10データセットで達成し、SOTA法を著しく上回った。 さらに,安定拡散モデルに$s^3$を適用し,2$\times$の加速度比を得た。

関連論文リスト

• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• S$^{2}$-DMs:Skip-Step Diffusion Models [10.269647566864247]
  拡散モデルは強力な生成ツールとして出現し、サンプル品質のGANと競合し、自己回帰モデルの可能性スコアを反映している。 これらのモデルのサブセットはDDIMによって例示され、固有の非対称性を示す:それらは$T$ステップで訓練されるが、生成時に$T$のサブセットからのみサンプルされる。 この選択的なサンプリング手法は、スピードに最適化されているが、無サンプルのステップから必然的に重要な情報を見逃し、サンプルの品質が損なわれる可能性がある。 革新的な$Lを用いた新しいトレーニング手法であるS$2$-DMを提案する。
  論文  参考訳（メタデータ） (2024-01-03T03:08:32Z)
• Sampler Scheduler for Diffusion Models [0.0]
  拡散モデリング(DM)は高品質な生成性能を有する。 現在、拡散に基づく生成モデルに対するサンプルには矛盾がある。 そこで本研究では,同じサンプリングプロセスの異なるサンプリングステップにおいて,異なるサンプリングスケジューラ(ODE/SDE)を使用することの実現可能性を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:35:25Z)
• Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
  判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。 提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。 第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:52:41Z)
• DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics [23.030972042695275]
  拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。 最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。 本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-10-20T04:23:12Z)
• SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models [66.67616086310662]
  拡散確率モデル(DPM)は生成タスクでかなりの成功を収めた。 DPM からのサンプリングは、時間を要する拡散 SDE や ODE の解法と等価であるため、改良された微分方程式解法に基づく多数の高速サンプリング手法が提案されている。 拡散SDEを解くための効率の良いAdams法であるSA-of-rを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:44:54Z)
• Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
  拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。 これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。 モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T21:39:27Z)
• Preconditioned Score-based Generative Models [49.88840603798831]
  直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。 本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。 PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
  論文  参考訳（メタデータ） (2023-02-13T16:30:53Z)
• UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models [92.43617471204963]
  拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。 我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。 そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:48Z)
• DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [45.612477740555406]
  拡散確率モデル(DPM)は、新たな強力な生成モデルである。 DPM-rは離散時間と連続時間の両方に適しており、それ以上の訓練は行わない。 CIFAR10データセットを用いた関数評価では,10の関数評価で4.70 FID,20の関数評価で2.87 FIDを実現している。
  論文  参考訳（メタデータ） (2022-06-02T08:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。