論文の概要: Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers
- arxiv url: http://arxiv.org/abs/2303.03384v1
- Date: Mon, 6 Mar 2023 18:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 14:44:14.228652
- Title: Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers
- Title(参考訳): リニア拡散以外の修復劣化:DDIM型サンプリングの非漸近解析
- Authors: Sitan Chen, Giannis Daras, Alexandros G. Dimakis
- Abstract要約: 本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
- 参考スコア(独自算出の注目度): 90.45898746733397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a framework for non-asymptotic analysis of deterministic samplers
used for diffusion generative modeling. Several recent works have analyzed
stochastic samplers using tools like Girsanov's theorem and a chain rule
variant of the interpolation argument. Unfortunately, these techniques give
vacuous bounds when applied to deterministic samplers. We give a new
operational interpretation for deterministic sampling by showing that one step
along the probability flow ODE can be expressed as two steps: 1) a restoration
step that runs gradient ascent on the conditional log-likelihood at some
infinitesimally previous time, and 2) a degradation step that runs the forward
process using noise pointing back towards the current iterate. This perspective
allows us to extend denoising diffusion implicit models to general, non-linear
forward processes. We then develop the first polynomial convergence bounds for
these samplers under mild conditions on the data distribution.
- Abstract(参考訳): 拡散生成モデルに使用される決定論的サンプルの非漸近解析のためのフレームワークを開発した。
いくつかの最近の研究は、ジルサノフの定理や補間引数の連鎖規則変種のようなツールを用いて確率的サンプリング器を解析している。
残念ながら、これらのテクニックは決定論的サンプラーに適用すると空白の境界を与える。
確率フロー ode に沿った1つのステップを2つのステップとして表現できることを示すことにより、決定論的サンプリングのための新しい操作解釈を与える。
1)条件付きログ様相の勾配上昇を前回の無限小時間で行う復元工程
2)フォワードプロセスを実行する劣化ステップは、電流反復方向のノイズを後ろ向きに向ける。
この観点から、拡散暗黙のモデルを一般の非線形前処理に拡張することができる。
次に、データ分布の穏やかな条件下で、これらのサンプルに対する最初の多項式収束境界を開発する。
関連論文リスト
- Diffusion Prior-Based Amortized Variational Inference for Noisy Inverse Problems [12.482127049881026]
そこで本稿では, 償却変分推論の観点から, 拡散による逆問題の解法を提案する。
我々の償却推論は、測定結果を対応するクリーンデータの暗黙の後方分布に直接マッピングする関数を学習し、未知の計測でも単一ステップの後方サンプリングを可能にする。
論文 参考訳(メタデータ) (2024-07-23T02:14:18Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳(メタデータ) (2023-07-20T09:06:21Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳(メタデータ) (2023-05-26T12:13:53Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。
この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。
本手法は理論上も経験上も従来の方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-02T09:06:10Z) - Autoregressive Denoising Diffusion Models for Multivariate Probabilistic
Time Series Forecasting [4.1573460459258245]
拡散確率モデル(拡散確率モデル)は、スコアマッチングやエネルギーベースの手法と密接に結びついている潜在変数モデルのクラスである。
我々のモデルは、データ可能性の変動境界を最適化して勾配を学習し、推論時にホワイトノイズを関心の分布のサンプルに変換する。
論文 参考訳(メタデータ) (2021-01-28T15:46:10Z) - Refining Deep Generative Models via Discriminator Gradient Flow [18.406499703293566]
判別器グラディエントフロー (DGflow) は, エントロピー規則化されたf-ディバージェンスの勾配流を介して生成したサンプルを改善する新しい手法である。
DGflowは, 様々な生成モデルに対して, 生成したサンプルの品質を著しく向上させることを示す。
論文 参考訳(メタデータ) (2020-12-01T19:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。