論文の概要: Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs
- arxiv url: http://arxiv.org/abs/2305.03935v3
- Date: Mon, 25 Sep 2023 13:38:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 02:49:47.737739
- Title: Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs
- Title(参考訳): 拡散オーダの最大近似推定のための改良手法
- Authors: Kaiwen Zheng, Cheng Lu, Jianfei Chen, Jun Zhu
- Abstract要約: 拡散ODEの最大誤差推定のためのいくつかの改良手法を提案する。
トレーニングのために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を探索する。
評価のために,拡散 ODE に存在する訓練・評価のギャップを埋めるために,新しい訓練自由トラクト正規化法を提案する。
- 参考スコア(独自算出の注目度): 23.030972042695275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have exhibited excellent performance in various domains. The
probability flow ordinary differential equation (ODE) of diffusion models
(i.e., diffusion ODEs) is a particular case of continuous normalizing flows
(CNFs), which enables deterministic inference and exact likelihood evaluation.
However, the likelihood estimation results by diffusion ODEs are still far from
those of the state-of-the-art likelihood-based generative models. In this work,
we propose several improved techniques for maximum likelihood estimation for
diffusion ODEs, including both training and evaluation perspectives. For
training, we propose velocity parameterization and explore variance reduction
techniques for faster convergence. We also derive an error-bounded high-order
flow matching objective for finetuning, which improves the ODE likelihood and
smooths its trajectory. For evaluation, we propose a novel training-free
truncated-normal dequantization to fill the training-evaluation gap commonly
existing in diffusion ODEs. Building upon these techniques, we achieve
state-of-the-art likelihood estimation results on image datasets (2.56 on
CIFAR-10, 3.43/3.69 on ImageNet-32) without variational dequantization or data
augmentation. Code is available at \url{https://github.com/thu-ml/i-DODE}.
- Abstract(参考訳): 拡散モデルは様々な領域で優れた性能を示した。
拡散モデルの確率フロー常微分方程式(英: probability flow normal differential equation, ode)は、連続正規化フロー(cnfs)の特別な場合であり、決定論的推論と正確な確率評価を可能にする。
しかし、拡散ODEによる確率推定結果は、まだ最先端の確率ベース生成モデルとはかけ離れている。
そこで本研究では,実験と評価の両面から,拡散型ODEの最大推定精度を向上する手法を提案する。
学習のために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を検討する。
また, ミスバウンドな高次流れマッチングを微調整の目的とし, ODEの精度を向上し, 軌道の平滑化を図る。
評価のために,拡散オデムに共通に存在するトレーニング評価ギャップを埋めるための,新しいトレーニングフリー・トランケート正規化法を提案する。
これらの手法を用いて,画像データセット(CIFAR-10では2.56,ImageNet-32では3.43/3.69)の変動分数化やデータ拡張を伴わず,最先端の推定結果が得られる。
コードは \url{https://github.com/thu-ml/i-DODE} で入手できる。
関連論文リスト
- Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - The Surprising Effectiveness of Diffusion Models for Optical Flow and
Monocular Depth Estimation [42.48819460873482]
拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。
また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
論文 参考訳(メタデータ) (2023-06-02T21:26:20Z) - A Geometric Perspective on Diffusion Models [60.69328526215776]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングを検証し,そのサンプリングダイナミクスの興味深い構造を明らかにした。
我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文 参考訳(メタデータ) (2023-05-31T15:33:16Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳(メタデータ) (2023-05-26T12:13:53Z) - Training Diffusion Models with Reinforcement Learning [82.29328477109826]
拡散モデルは、ログのような目的に近似して訓練される。
本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。
本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
論文 参考訳(メタデータ) (2023-05-22T17:57:41Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳(メタデータ) (2021-06-05T05:50:36Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。