論文の概要: Accelerating Diffusion Sampling with Optimized Time Steps

• arxiv url: http://arxiv.org/abs/2402.17376v3
• Date: Wed, 3 Jul 2024 06:16:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:54:15.991379
• Title: Accelerating Diffusion Sampling with Optimized Time Steps
• Title（参考訳）: 最適時間ステップによる拡散サンプリングの高速化
• Authors: Shuchen Xue, Zhaoqiang Liu, Fei Chen, Shifeng Zhang, Tianyang Hu, Enze Xie, Zhenguo Li,
• Abstract要約: 拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
• 参考スコア（独自算出の注目度）: 69.21208434350567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion probabilistic models (DPMs) have shown remarkable performance in high-resolution image synthesis, but their sampling efficiency is still to be desired due to the typically large number of sampling steps. Recent advancements in high-order numerical ODE solvers for DPMs have enabled the generation of high-quality images with much fewer sampling steps. While this is a significant development, most sampling methods still employ uniform time steps, which is not optimal when using a small number of steps. To address this issue, we propose a general framework for designing an optimization problem that seeks more appropriate time steps for a specific numerical ODE solver for DPMs. This optimization problem aims to minimize the distance between the ground-truth solution to the ODE and an approximate solution corresponding to the numerical solver. It can be efficiently solved using the constrained trust region method, taking less than $15$ seconds. Our extensive experiments on both unconditional and conditional sampling using pixel- and latent-space DPMs demonstrate that, when combined with the state-of-the-art sampling method UniPC, our optimized time steps significantly improve image generation performance in terms of FID scores for datasets such as CIFAR-10 and ImageNet, compared to using uniform time steps.
• Abstract（参考訳）: 拡散確率モデル (DPM) は高分解能画像合成において顕著な性能を示したが、サンプリング効率は典型的には多くのサンプリングステップのために依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。 これは重要な開発であるが、ほとんどのサンプリング手法は依然として一様時間ステップを採用しており、少数のステップを使用する場合に最適ではない。 この問題に対処するために, DPMの特定の数値ODEソルバに対して, より適切な時間ステップを求める最適化問題を設計するための一般的なフレームワークを提案する。 この最適化問題は,ODEと数値解法に対応する近似解との距離を最小化することを目的としている。 制約付き信頼領域法を用いて効率よく解き、秒間15ドル以下で解決できる。 CIFAR-10 や ImageNet などのデータセットの FID スコアの点から,UniPC と組み合わせることで画像生成性能が向上することを示す。

関連論文リスト

• Beta Sampling is All You Need: Efficient Image Generation Strategy for Diffusion Models using Stepwise Spectral Analysis [22.02829139522153]
  拡散過程の画像スペクトル解析に基づく効率的な時間ステップサンプリング法を提案する。 従来の均一分布に基づく時間ステップサンプリングの代わりに,ベータ分布のようなサンプリング手法を導入する。 我々の仮説では、あるステップは画像の内容に大きな変化を示すが、他のステップは最小限に寄与する。
  論文  参考訳（メタデータ） (2024-07-16T20:53:06Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
  本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。 実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-19T08:57:24Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• On Accelerating Diffusion-Based Sampling Process via Improved Integration Approximation [12.882586878998579]
  拡散に基づく生成モデルをサンプリングする一般的なアプローチは、常微分方程式(ODE)を解くことである。 改良された積分近似(IIA)を用いて特定の係数を最適化することにより、人気のあるODEベースのサンプリングプロセスの高速化を検討する。 また,IIA-EDM,IIA-DDIM,IIA-DPM-rを用いて,FIDスコアを従来よりも大幅に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-04-22T06:06:28Z)
• CDPMSR: Conditional Diffusion Probabilistic Models for Single Image Super-Resolution [91.56337748920662]
  拡散確率モデル(DPM)は画像から画像への変換において広く採用されている。 単純だが自明なDPMベースの超解像後処理フレームワーク,すなわちcDPMSRを提案する。 本手法は, 定性的および定量的な結果の両面において, 先行試行を超越した手法である。
  論文  参考訳（メタデータ） (2023-02-14T15:13:33Z)
• DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models [45.612477740555406]
  DPM-r++はDPMのガイドサンプリングのための高次解法である。 DPM-r++は15から20ステップで高品質なサンプルを生成できることを示す。
  論文  参考訳（メタデータ） (2022-11-02T13:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。