論文の概要: Optimizing DDPM Sampling with Shortcut Fine-Tuning
- arxiv url: http://arxiv.org/abs/2301.13362v2
- Date: Wed, 1 Feb 2023 22:16:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:44:40.883971
- Title: Optimizing DDPM Sampling with Shortcut Fine-Tuning
- Title（参考訳）: ショートカットファインチューニングによるDDPMサンプリングの最適化
- Authors: Ying Fan, Kangwook Lee
- Abstract要約: ショートカットファインチューニング(SFT)は、事前学習した拡散拡散確率モデル(DDPM)の高速サンプリングの課題に対処するための新しいアプローチである。
SFTは、積分確率メートル法(IPM)の直接最小化によるDDPMサンプリング器の微調整を提唱している。
また、DDPMを微調整するためのポリシー勾配法と類似した新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 16.137936204766692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we propose Shortcut Fine-Tuning (SFT), a new approach for
addressing the challenge of fast sampling of pretrained Denoising Diffusion
Probabilistic Models (DDPMs). SFT advocates for the fine-tuning of DDPM
samplers through the direct minimization of Integral Probability Metrics (IPM),
instead of learning the backward diffusion process. This enables samplers to
discover an alternative and more efficient sampling shortcut, deviating from
the backward diffusion process. We also propose a new algorithm that is similar
to the policy gradient method for fine-tuning DDPMs by proving that under
certain assumptions, the gradient descent of diffusion models is equivalent to
the policy gradient approach. Through empirical evaluation, we demonstrate that
our fine-tuning method can further enhance existing fast DDPM samplers,
resulting in sample quality comparable to or even surpassing that of the
full-step model across various datasets.
- Abstract（参考訳）: 本研究では,事前学習した拡散拡散確率モデル(DDPM)の高速サンプリングに挑戦する新しいアプローチであるショートカットファインチューニング(SFT)を提案する。
SFTは、後方拡散過程を学ぶ代わりに、積分確率メトリック(IPM)の直接最小化によるDDPMサンプリングの微調整を提唱している。
これにより、サンプルは後方拡散プロセスから逸脱して、より効率的で効率的なサンプリングショートカットを見つけることができる。
また,特定の仮定の下で拡散モデルの勾配降下がポリシー勾配アプローチと等価であることを証明し,ddpmを微調整するためのポリシー勾配法と類似した新しいアルゴリズムを提案する。
実験結果から,本手法は既存の高速ddpmサンプラーをさらに向上させ,様々なデータセットにまたがるフルステップモデルに匹敵する,あるいは匹敵する品質のサンプルが得られることを示した。
関連論文リスト
- Diffusion Rejection Sampling [13.945372555871414]
Diffusion Rejection Sampling (DiffRS) は、サンプリングされたトランジションカーネルを各タイムステップで真のカーネルと整列するリジェクションサンプリングスキームである。
提案手法は, 各中間段階における試料の品質を評価し, 試料に応じて異なる作業で精製する機構とみなすことができる。
実験により,ベンチマークデータセット上でのDiffRSの最先端性能と高速拡散サンプリングおよび大規模テキスト・画像拡散モデルに対するDiffRSの有効性を実証した。
論文 参考訳（メタデータ） (2024-05-28T07:00:28Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Unsupervised Discovery of Interpretable Directions in h-space of
Pre-trained Diffusion Models [63.1637853118899]
本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。
我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。
それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
論文 参考訳（メタデータ） (2023-10-15T18:44:30Z) - Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。
提案手法は,事前学習した拡散モデルに容易に適用できる。
初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
論文 参考訳（メタデータ） (2023-08-23T06:22:02Z) - DPM-OT: A New Diffusion Probabilistic Model Based on Optimal Transport [26.713392774427653]
DPM-OTは高速DPMのための統合学習フレームワークであり、直接高速道路はOTマップで表される。
約10の関数評価で高品質なサンプルを生成することができる。
実験は、DPM-OTの有効性と利点を、速度と品質の観点から検証した。
論文 参考訳（メタデータ） (2023-07-21T02:28:54Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳（メタデータ） (2023-07-20T09:06:21Z) - Alleviating Exposure Bias in Diffusion Models through Sampling with Shifted Time Steps [23.144083737873263]
拡散確率モデル (DPM) は高品質な画像の合成において顕著な有効性を示した。
これまでの研究は、トレーニング中に入力を摂動することでこの問題を緩和しようと試みてきた。
モデルを再学習することなく,提案する新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2023-05-24T21:39:27Z) - On Calibrating Diffusion Probabilistic Models [78.75538484265292]
拡散確率モデル(DPM)は様々な生成タスクにおいて有望な結果を得た。
そこで本研究では,任意の事前学習DPMを校正する簡単な方法を提案する。
キャリブレーション法は1回だけ行い, 得られたモデルをサンプリングに繰り返し使用することができる。
論文 参考訳（メタデータ） (2023-02-21T14:14:40Z) - Accelerating Diffusion Models via Early Stop of the Diffusion Process [114.48426684994179]
Denoising Diffusion Probabilistic Models (DDPM) は、様々な世代タスクにおいて優れたパフォーマンスを実現している。
実際には、DDPMは高品質なサンプルを得るために何十万ものデノナイジングステップを必要とすることが多い。
本稿では,DDPMの早期停止型DDPM(Early-Stopped DDPM, ES-DDPM)の原理的高速化戦略を提案する。
論文 参考訳（メタデータ） (2022-05-25T06:40:09Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳（メタデータ） (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。