論文の概要: Score-Optimal Diffusion Schedules

• arxiv url: http://arxiv.org/abs/2412.07877v1
• Date: Tue, 10 Dec 2024 19:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:04:05.016087
• Title: Score-Optimal Diffusion Schedules
• Title（参考訳）: スコア最適拡散スケジューリング
• Authors: Christopher Williams, Andrew Campbell, Arnaud Doucet, Saifuddin Syed,
• Abstract要約: 高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。 本稿では,最適な離散化スケジュールを適応的に選択するための新しいアルゴリズムを提案する。 学習したスケジュールは、これまで手動検索でのみ発見されていたパフォーマンススケジュールを復元する。
• 参考スコア（独自算出の注目度）: 29.062842062257918
• License:
• Abstract: Denoising diffusion models (DDMs) offer a flexible framework for sampling from high dimensional data distributions. DDMs generate a path of probability distributions interpolating between a reference Gaussian distribution and a data distribution by incrementally injecting noise into the data. To numerically simulate the sampling process, a discretisation schedule from the reference back towards clean data must be chosen. An appropriate discretisation schedule is crucial to obtain high quality samples. However, beyond hand crafted heuristics, a general method for choosing this schedule remains elusive. This paper presents a novel algorithm for adaptively selecting an optimal discretisation schedule with respect to a cost that we derive. Our cost measures the work done by the simulation procedure to transport samples from one point in the diffusion path to the next. Our method does not require hyperparameter tuning and adapts to the dynamics and geometry of the diffusion path. Our algorithm only involves the evaluation of the estimated Stein score, making it scalable to existing pre-trained models at inference time and online during training. We find that our learned schedule recovers performant schedules previously only discovered through manual search and obtains competitive FID scores on image datasets.
• Abstract（参考訳）: 拡散モデル(DDM)は高次元データ分布をサンプリングするための柔軟なフレームワークを提供する。 DDMは、基準ガウス分布とデータ分布とを補間する確率分布の経路を生成する。 サンプリング過程を数値的にシミュレートするには、参照からクリーンデータへの離散化スケジュールを選択する必要がある。 高品質なサンプルを得るためには、適切な離散化スケジュールが不可欠である。 しかし、手作りのヒューリスティックス以外では、このスケジュールを選択する一般的な方法がいまだ解明されていない。 本稿では,提案するコストに対して最適な離散化スケジュールを適応的に選択するアルゴリズムを提案する。 本研究のコストは, 拡散経路の1点から次点へ試料を輸送するためにシミュレーション処理を行った作業量である。 本手法はハイパーパラメータチューニングを必要とせず,拡散経路の力学や幾何学に適応する。 我々のアルゴリズムは、推定されたスタインスコアの評価のみを伴い、既存のトレーニング済みモデルに対して、推論時およびトレーニング中のオンラインでスケーラブルにする。 学習したスケジュールは、手動検索でのみ発見されたパフォーマンススケジュールを復元し、画像データセット上で競合するFIDスコアを取得する。

関連論文リスト

• Constant Rate Schedule: Constant-Rate Distributional Change for Efficient Training and Sampling in Diffusion Models [16.863038973001483]
  拡散過程を通して拡散したデータの確率分布の変化率を一定に保証するノイズスケジュールを提案する。 ノイズスケジュールの関数形式は自動的に決定され、各データセットや拡散モデルのタイプに合わせて調整される。
  論文  参考訳（メタデータ） (2024-11-19T03:02:39Z)
• FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
  本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。 提案手法はSOTA法よりも10倍高速である。
  論文  参考訳（メタデータ） (2024-07-28T10:07:55Z)
• Align Your Steps: Optimizing Sampling Schedules in Diffusion Models [63.927438959502226]
  拡散モデル(DM)は、視覚領域以降における最先端の生成モデリングアプローチとして確立されている。 DMの重大な欠点は、サンプリング速度の遅いことであり、大規模なニューラルネットワークによる多くのシーケンシャルな関数評価に依存している。 本稿では,DMのサンプリングスケジュールを高品質な出力に最適化する汎用的,原理的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T18:18:41Z)
• Diffusion Models with Deterministic Normalizing Flow Priors [23.212848643552395]
  フローと拡散モデルを正規化する手法であるDiNof(textbfDi$ffusion with $textbfNo$rmalizing $textbff$low priors)を提案する。 標準画像生成データセットの実験は、既存の手法よりも提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-09-03T21:26:56Z)
• On Calibrating Diffusion Probabilistic Models [78.75538484265292]
  拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。 そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。 キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:14:40Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• From Points to Functions: Infinite-dimensional Representations in Diffusion Models [23.916417852496608]
  拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。 異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
  論文  参考訳（メタデータ） (2022-10-25T05:30:53Z)
• Markup-to-Image Diffusion Models with Scheduled Sampling [111.30188533324954]
  画像生成の最近の進歩に基づき,画像にマークアップを描画するためのデータ駆動型アプローチを提案する。 このアプローチは拡散モデルに基づいており、デノナイジング操作のシーケンスを用いてデータの分布をパラメータ化する。 数式(La)、テーブルレイアウト(HTML)、シート音楽(LilyPond)、分子画像(SMILES)の4つのマークアップデータセットの実験を行った。
  論文  参考訳（メタデータ） (2022-10-11T04:56:12Z)
• Learning Energy-Based Models by Diffusion Recovery Likelihood [61.069760183331745]
  本稿では,エネルギーベースモデルから気軽に学習・サンプルできる拡散回復可能性法を提案する。 学習後、ガウスの白色雑音分布から初期化するサンプリングプロセスにより合成画像を生成することができる。 非条件 CIFAR-10 では,本手法は FID 9.58 と開始スコア 8.30 を達成する。
  論文  参考訳（メタデータ） (2020-12-15T07:09:02Z)
• Denoising Diffusion Implicit Models [117.03720513930335]
  DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。 DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
  論文  参考訳（メタデータ） (2020-10-06T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。