論文の概要: Convergence of flow-based generative models via proximal gradient
descent in Wasserstein space
- arxiv url: http://arxiv.org/abs/2310.17582v1
- Date: Thu, 26 Oct 2023 17:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 18:47:36.627325
- Title: Convergence of flow-based generative models via proximal gradient
descent in Wasserstein space
- Title(参考訳): ワッサーシュタイン空間における近位勾配降下による流れ型生成モデルの収束
- Authors: Xiuyuan Cheng, Jianfeng Lu, Yixin Tan, Yao Xie
- Abstract要約: フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本稿では,JKOフローモデルと呼ばれるプログレッシブフローモデルを用いて,データ分布の生成を理論的に保証する。
- 参考スコア(独自算出の注目度): 22.691805716358903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Flow-based generative models enjoy certain advantages in computing the data
generation and the likelihood, and have recently shown competitive empirical
performance. Compared to the accumulating theoretical studies on related
score-based diffusion models, analysis of flow-based models, which are
deterministic in both forward (data-to-noise) and reverse (noise-to-data)
directions, remain sparse. In this paper, we provide a theoretical guarantee of
generating data distribution by a progressive flow model, the so-called JKO
flow model, which implements the Jordan-Kinderleherer-Otto (JKO) scheme in a
normalizing flow network. Leveraging the exponential convergence of the
proximal gradient descent (GD) in Wasserstein space, we prove the
Kullback-Leibler (KL) guarantee of data generation by a JKO flow model to be
$O(\varepsilon^2)$ when using $N \lesssim \log (1/\varepsilon)$ many JKO steps
($N$ Residual Blocks in the flow) where $\varepsilon $ is the error in the
per-step first-order condition. The assumption on data density is merely a
finite second moment, and the theory extends to data distributions without
density and when there are inversion errors in the reverse process where we
obtain KL-$W_2$ mixed error guarantees. The non-asymptotic convergence rate of
the JKO-type $W_2$-proximal GD is proved for a general class of convex
objective functionals that includes the KL divergence as a special case, which
can be of independent interest.
- Abstract(参考訳): フローベースの生成モデルは、データ生成と可能性の計算において一定の利点を享受し、最近は競争力のある経験的性能を示している。
関連するスコアベース拡散モデルに関する理論的研究と比べ、前方方向(データ-ノイズ)と逆方向(ノイズ-データ)の両方で決定論的なフローモデルの解析はいまだに不十分である。
本稿では,Jordan-Kinderleherer-Otto(JKO)方式を正規化フローネットワークに実装した,プログレッシブフローモデルであるJKOフローモデルによりデータ分散を生成する理論的保証を提供する。
ワッサーシュタイン空間における近位勾配降下(GD)の指数収束を利用して、JKOフローモデルによるデータ生成のKL(Kullback-Leibler)保証が$O(\varepsilon^2)$であると証明し、$N \lesssim \log (1/\varepsilon)$多くのJKOステップ(フロー内のResidual Blocks)を使用する場合、$\varepsilon $はステップ1次条件の誤差である。
データ密度の仮定は単に有限第二モーメントであり、この理論は密度のないデータ分布と、KL-$W_2$混合誤差を保証する逆過程に逆誤差が存在する場合に拡張される。
JKO型$W_2$-proximal GDの非漸近収束速度は、KLの発散を特別な場合として含む凸対象汎函数の一般クラスに対して証明され、これは独立な興味を持つことができる。
関連論文リスト
- Convergence analysis of OT-Flow for sample generation [7.416150473911164]
深層生成モデルは、基礎となるデータの分布を学習し、新しいデータを生成することを目的としている。
生成モデルの多様性と実際の高品質な生成性能にもかかわらず、そのほとんどは厳密な理論的収束証明を欠いている。
本研究では,深層生成モデルの1つであるOT-Flowの収束結果を確立することを目的としている。
論文 参考訳(メタデータ) (2024-03-24T16:05:57Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳(メタデータ) (2024-02-15T08:51:49Z) - Scalable Wasserstein Gradient Flow for Generative Modeling through
Unbalanced Optimal Transport [9.980822222343921]
半二重JKO(S-JKO)と呼ばれるスケーラブルなWGFベースの生成モデルを導入する。
我々のモデルは、JKOステップと不均衡最適輸送の等価性から導かれるJKOステップの半二重形式に基づいている。
我々のモデルは既存のWGFベースの生成モデルよりも大幅に優れていることを実証する。
論文 参考訳(メタデータ) (2024-02-08T06:45:03Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Improved Analysis of Score-based Generative Modeling: User-Friendly
Bounds under Minimal Smoothness Assumptions [9.953088581242845]
2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。
我々の結果は、対数共空性や機能的不等式を前提としない。
我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
論文 参考訳(メタデータ) (2022-11-03T15:51:00Z) - Wasserstein Distributional Learning [5.830831796910439]
Wasserstein Distributional Learning (WDL)はフレキシブルな密度オンスカラー回帰モデリングフレームワークである。
WDLは, 条件密度の非線形依存性をよりよく特徴付け, 明らかにする。
シミュレーションと実世界の応用を通してWDLフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2022-09-12T02:32:17Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳(メタデータ) (2022-07-11T08:50:19Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。