論文の概要: Align Your Steps: Optimizing Sampling Schedules in Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.14507v1
• Date: Mon, 22 Apr 2024 18:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 17:57:44.653612
• Title: Align Your Steps: Optimizing Sampling Schedules in Diffusion Models
• Title（参考訳）: ステップの調整: 拡散モデルにおけるサンプリングスケジュールの最適化
• Authors: Amirmojtaba Sabour, Sanja Fidler, Karsten Kreis,
• Abstract要約: 拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
• 参考スコア（独自算出の注目度）: 63.927438959502226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models (DMs) have established themselves as the state-of-the-art generative modeling approach in the visual domain and beyond. A crucial drawback of DMs is their slow sampling speed, relying on many sequential function evaluations through large neural networks. Sampling from DMs can be seen as solving a differential equation through a discretized set of noise levels known as the sampling schedule. While past works primarily focused on deriving efficient solvers, little attention has been given to finding optimal sampling schedules, and the entire literature relies on hand-crafted heuristics. In this work, for the first time, we propose a general and principled approach to optimizing the sampling schedules of DMs for high-quality outputs, called $\textit{Align Your Steps}$. We leverage methods from stochastic calculus and find optimal schedules specific to different solvers, trained DMs and datasets. We evaluate our novel approach on several image, video as well as 2D toy data synthesis benchmarks, using a variety of different samplers, and observe that our optimized schedules outperform previous hand-crafted schedules in almost all experiments. Our method demonstrates the untapped potential of sampling schedule optimization, especially in the few-step synthesis regime.
• Abstract（参考訳）: 拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 DMからのサンプリングは、サンプリングスケジュールとして知られるノイズレベルの離散化によって微分方程式を解くことができる。 過去の研究は主に効率的な解法を導出することに焦点を当てているが、最適なサンプリングスケジュールを見つけることにはほとんど注意が払われておらず、文献全体は手作りのヒューリスティックに頼っている。 本研究では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を初めて提案する($\textit{Align Your Steps}$)。 確率計算からの手法を活用し、異なる解法、訓練されたDM、データセットに特有の最適なスケジュールを求める。 我々は,複数の画像,ビデオ,および2D玩具データ合成ベンチマークに対する新しいアプローチを,様々なサンプルを用いて評価し,最適化されたスケジュールが,ほぼすべての実験において,以前の手作りスケジュールより優れていることを確認した。 提案手法は,サンプリングスケジュール最適化の未解決可能性,特に数段階合成システムにおいて実証する。

関連論文リスト

• Adaptive Non-Uniform Timestep Sampling for Diffusion Model Training [4.760537994346813]
  データ分布が複雑化するにつれて、収束のためのトレーニング拡散モデルがますます複雑になる。 より重要な時間ステップを優先する一様でない時間ステップサンプリング手法を提案する。 提案手法は, 各種データセット, スケジューリング戦略, 拡散アーキテクチャにまたがるロバストな性能を示す。
  論文  参考訳（メタデータ） (2024-11-15T07:12:18Z)
• $\textit{Jump Your Steps}$: Optimizing Sampling Schedule of Discrete Diffusion Models [16.738569359216438]
  我々は、余分な計算コストを伴わずにCDEを最小化することにより、離散サンプリングタイムステップの割り当てを最適化する新しいアプローチである、textitJump Your Steps$(JYS)を提示する。 画像、音楽、テキスト生成に関する実験では、JYSはサンプリング品質を大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-10T09:44:25Z)
• FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
  本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。 提案手法はSOTA法よりも10倍高速である。
  論文  参考訳（メタデータ） (2024-07-28T10:07:55Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
  拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。 彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。 DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
  論文  参考訳（メタデータ） (2024-02-27T10:13:30Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
  モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
  論文  参考訳（メタデータ） (2021-05-28T09:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。