論文の概要: Maximum Likelihood Training of Implicit Nonlinear Diffusion Models
- arxiv url: http://arxiv.org/abs/2205.13699v1
- Date: Fri, 27 May 2022 01:25:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 14:50:45.356419
- Title: Maximum Likelihood Training of Implicit Nonlinear Diffusion Models
- Title（参考訳）: 暗黙的非線形拡散モデルの最大度トレーニング
- Authors: Dongjun Kim, Byeonghu Na, Se Jung Kwon, Dongsoo Lee, Wanmo Kang,
Il-Chul Moon
- Abstract要約: Implicit Model Diffusion (INDM) は正規化フローと拡散過程を組み合わせた非線形拡散過程を学習する。
実験では、INDMはCelebA上の最先端のFIDを達成する。
- 参考スコア（独自算出の注目度）: 17.385123397606502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whereas diverse variations of diffusion models exist, expanding the linear
diffusion into a nonlinear diffusion process is investigated only by a few
works. The nonlinearity effect has been hardly understood, but intuitively,
there would be more promising diffusion patterns to optimally train the
generative distribution towards the data distribution. This paper introduces
such a data-adaptive and nonlinear diffusion process for score-based diffusion
models. The proposed Implicit Nonlinear Diffusion Model (INDM) learns the
nonlinear diffusion process by combining a normalizing flow and a diffusion
process. Specifically, INDM implicitly constructs a nonlinear diffusion on the
\textit{data space} by leveraging a linear diffusion on the \textit{latent
space} through a flow network. This flow network is the key to forming a
nonlinear diffusion as the nonlinearity fully depends on the flow network. This
flexible nonlinearity is what improves the learning curve of INDM to nearly MLE
training, compared against the non-MLE training of DDPM++, which turns out to
be a special case of INDM with the identity flow. Also, training the nonlinear
diffusion empirically yields a sampling-friendly latent diffusion that the
sample trajectory of INDM is closer to an optimal transport than the
trajectories of previous research. In experiments, INDM achieves the
state-of-the-art FID on CelebA.
- Abstract（参考訳）: 様々な拡散モデルが存在するが、線形拡散を非線形拡散過程に拡張することは、少数の研究によってのみ研究される。
非線形性効果はほとんど理解されていないが、直感的には、生成分布をデータ分布に向けて最適に訓練するより有望な拡散パターンが存在する。
本稿では,このようなデータ適応および非線形拡散過程をスコアベース拡散モデルに適用する。
提案する暗黙的非線形拡散モデル (indm) は, 正規化流れと拡散過程を組み合わせた非線形拡散過程を学習する。
特に、INDM はフローネットワークを介して \textit{latent space} 上の線型拡散を利用して、暗黙的に \textit{data space} 上の非線形拡散を構築する。
この流れネットワークは、非線形性が流れネットワークに完全に依存するため、非線形拡散を形成する鍵となる。
この柔軟性のある非線形性は、DDPM++の非MLEトレーニングと比較して、INDMの学習曲線をほぼMLEトレーニングに改善する。
また、非線形拡散を経験的に訓練すると、indmのサンプル軌道が以前の研究の軌道よりも最適輸送に近いというサンプリングフレンドリーな潜在拡散が得られる。
実験では、INDMはCelebA上の最先端のFIDを達成する。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure [8.320632531909682]
学習したスコア関数の隠れた性質を調べた結果,拡散モデルの一般化可能性について検討した。
拡散モデルが記憶から一般化へと遷移するにつれて、対応する非線形拡散デノイザは線形性を増加させる。
論文 参考訳（メタデータ） (2024-10-31T15:57:04Z) - Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
結果はNFDMの汎用性と幅広い応用の可能性を評価する。
論文 参考訳（メタデータ） (2024-04-19T15:10:54Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T11:19:11Z) - Lipschitz Singularities in Diffusion Models [64.28196620345808]
拡散モデルは、零点付近の時間変数に関して、しばしばネットワークの無限のリプシッツ特性を示す。
ゼロ点近傍の拡散モデルのリプシッツ特異点を緩和する新しい手法 E-TSDM を提案する。
我々の研究は、一般拡散過程の理解を深め、拡散モデルの設計に関する洞察を提供するかもしれない。
論文 参考訳（メタデータ） (2023-06-20T03:05:28Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-03-03T11:31:55Z) - Where to Diffuse, How to Diffuse, and How to Get Back: Automated
Learning for Multivariate Diffusions [22.04182099405728]
拡散に基づく生成モデル(DBGM)は、ターゲット雑音分布に摂動データを変換し、この推論拡散過程を逆にしてサンプルを生成する。
補助変数の数に対して、低いバウンドを最大化する方法を示す。
次に,特定対象雑音分布の拡散をパラメータ化する方法を示す。
論文 参考訳（メタデータ） (2023-02-14T18:57:04Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳（メタデータ） (2023-02-07T23:03:07Z) - Source Localization of Graph Diffusion via Variational Autoencoders for
Graph Inverse Problems [8.984898754363265]
グラフ拡散の逆問題としてのソースローカライゼーションは極めて困難である。
本稿では,異なる候補源の不確実性を考慮した確率的手法に焦点をあてる。
7つの実世界のデータセット上で実験を行い、拡散源の再構築におけるSL-VAEの優位性を実証した。
論文 参考訳（メタデータ） (2022-06-24T14:56:45Z) - Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。
フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。
我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
論文 参考訳（メタデータ） (2022-06-05T20:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。