論文の概要: Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling

• arxiv url: http://arxiv.org/abs/2308.02157v1
• Date: Fri, 4 Aug 2023 06:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 13:53:11.235654
• Title: Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling
• Title（参考訳）: 拡散モデルサンプリングのための指数積分器の次数解析と設計の改善
• Authors: Qinsheng Zhang and Jiaming Song and Yongxin Chen
• Abstract要約: 指数解法は最先端のパフォーマンスを示すことで有名になった。 既存の高次EIに基づくサンプリングアルゴリズムは退化EIソルバに依存している。 全ての順序条件を満たす改良されたEIソルバを提案する。
• 参考スコア（独自算出の注目度）: 36.50606582918392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficient differential equation solvers have significantly reduced the sampling time of diffusion models (DMs) while retaining high sampling quality. Among these solvers, exponential integrators (EI) have gained prominence by demonstrating state-of-the-art performance. However, existing high-order EI-based sampling algorithms rely on degenerate EI solvers, resulting in inferior error bounds and reduced accuracy in contrast to the theoretically anticipated results under optimal settings. This situation makes the sampling quality extremely vulnerable to seemingly innocuous design choices such as timestep schedules. For example, an inefficient timestep scheduler might necessitate twice the number of steps to achieve a quality comparable to that obtained through carefully optimized timesteps. To address this issue, we reevaluate the design of high-order differential solvers for DMs. Through a thorough order analysis, we reveal that the degeneration of existing high-order EI solvers can be attributed to the absence of essential order conditions. By reformulating the differential equations in DMs and capitalizing on the theory of exponential integrators, we propose refined EI solvers that fulfill all the order conditions, which we designate as Refined Exponential Solver (RES). Utilizing these improved solvers, RES exhibits more favorable error bounds theoretically and achieves superior sampling efficiency and stability in practical applications. For instance, a simple switch from the single-step DPM-Solver++ to our order-satisfied RES solver when Number of Function Evaluations (NFE) $=9$, results in a reduction of numerical defects by $25.2\%$ and FID improvement of $25.4\%$ (16.77 vs 12.51) on a pre-trained ImageNet diffusion model.
• Abstract（参考訳）: 効率的な微分方程式解法は高いサンプリング品質を維持しながら拡散モデル(DM)のサンプリング時間を著しく短縮した。 これらの解法のうち、指数積分器 (EI) は最先端の性能を示すことで注目されている。 しかし、既存の高次EIに基づくサンプリングアルゴリズムは退化EIソルバに依存しており、最適条件下での理論的予測結果とは対照的に誤差境界が劣り精度が低下する。 この状況は、サンプリング品質を、タイムステップスケジュールのような一見無害な設計選択に対して極めて脆弱にする。 例えば、非効率なタイムステップスケジューラは、注意深く最適化されたタイムステップによって得られるものと同等の品質を達成するために、ステップの数を2倍必要とします。 この問題に対処するために,dmsのための高階微分ソルバの設計を再評価する。 徹底的な順序解析により,既存の高次EIソルバの劣化は,本質的な順序条件の欠如に起因することが判明した。 DMの微分方程式を再構成し指数積分器の理論に乗じて、全ての順序条件を満たす洗練されたEIソルバを提案し、これをRefined Exponential Solver (RES) と呼ぶ。 これらの改良された解法を用いることで、RESは理論上より好ましい誤差境界を示し、実用的な応用においてより優れたサンプリング効率と安定性を実現する。 例えば、単一ステップのDPM-Solver++ から NFE (Number of Function Evaluations) $=9$ の RES 解決器への簡単な切り替えは、事前訓練された ImageNet 拡散モデル上で、数値欠陥を 25.2\%$ に減らし、FID の改善は 25.4\%$ (16.77 vs 12.51) になる。

関連論文リスト

• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models [0.49478969093606673]
  DPM(Diffusion Probabilistic Models)として知られる強力な生成モデルのクラスが注目されている。 高速であるにもかかわらず、そのような解法は通常、利用可能な遅いSDE解法によって達成される最適な品質に達しない。 我々の目標は、その目標を達成するために数百から数千のNFEを必要とすることなく、最適な品質に達するSDEソルバを提案することである。
  論文  参考訳（メタデータ） (2023-05-23T17:19:54Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• Versatile Single-Loop Method for Gradient Estimator: First and Second Order Optimality, and its Application to Federated Learning [45.78238792836363]
  本稿では,SLEDGE (Single-Loop-E Gradient Estimator) という単一ループアルゴリズムを提案する。 既存の手法とは異なり、SLEDGEは、(ii)2階最適、(ii)PL領域における、(iii)少ないデータ以下の複雑さの利点を持つ。
  論文  参考訳（メタデータ） (2022-09-01T11:05:26Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Sinkhorn Distributionally Robust Optimization [15.194516549163245]
  一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。 Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
  論文  参考訳（メタデータ） (2021-09-24T12:40:48Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。