論文の概要: Convergence of flow-based generative models via proximal gradient descent in Wasserstein space

• arxiv url: http://arxiv.org/abs/2310.17582v2
• Date: Fri, 17 May 2024 01:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 20:33:24.048665
• Title: Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
• Title（参考訳）: ワッサーシュタイン空間における近位勾配勾配によるフローベース生成モデルの収束
• Authors: Xiuyuan Cheng, Jianfeng Lu, Yixin Tan, Yao Xie,
• Abstract要約: フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。 本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
• 参考スコア（独自算出の注目度）: 20.771897445580723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-based generative models enjoy certain advantages in computing the data generation and the likelihood, and have recently shown competitive empirical performance. Compared to the accumulating theoretical studies on related score-based diffusion models, analysis of flow-based models, which are deterministic in both forward (data-to-noise) and reverse (noise-to-data) directions, remain sparse. In this paper, we provide a theoretical guarantee of generating data distribution by a progressive flow model, the so-called JKO flow model, which implements the Jordan-Kinderleherer-Otto (JKO) scheme in a normalizing flow network. Leveraging the exponential convergence of the proximal gradient descent (GD) in Wasserstein space, we prove the Kullback-Leibler (KL) guarantee of data generation by a JKO flow model to be $O(\varepsilon^2)$ when using $N \lesssim \log (1/\varepsilon)$ many JKO steps ($N$ Residual Blocks in the flow) where $\varepsilon $ is the error in the per-step first-order condition. The assumption on data density is merely a finite second moment, and the theory extends to data distributions without density and when there are inversion errors in the reverse process where we obtain KL-$W_2$ mixed error guarantees. The non-asymptotic convergence rate of the JKO-type $W_2$-proximal GD is proved for a general class of convex objective functionals that includes the KL divergence as a special case, which can be of independent interest. The analysis framework can extend to other first-order Wasserstein optimization schemes applied to flow-based generative models.
• Abstract（参考訳）: フローベースの生成モデルは、データ生成と可能性の計算において一定の利点を享受し、最近は競争力のある経験的性能を示している。 関連するスコアベース拡散モデルに関する累積理論的研究と比較すると、前(データ・ツー・ノイズ)と逆(ノイズ・トゥ・データ)のどちらにおいても決定論的であるフローベースモデルの解析は依然として少ないままである。 本稿では,Jordan-Kinderleherer-Otto(JKO)方式を正規化フローネットワークに実装した,プログレッシブフローモデルであるJKOフローモデルによりデータ分散を生成する理論的保証を提供する。 ワッサーシュタイン空間における近位勾配降下(GD)の指数収束を利用して、JKOフローモデルによるデータ生成のKL(Kullback-Leibler)保証が$O(\varepsilon^2)$であると証明し、$N \lesssim \log (1/\varepsilon)$多くのJKOステップ(フロー内のResidual Blocks)を使用する場合、$\varepsilon $はステップ1次条件の誤差である。 データ密度の仮定は単に有限第二モーメントであり、この理論は密度のないデータ分布と、KL-$W_2$混合誤差を保証する逆過程に逆誤差が存在する場合に拡張される。 JKO型 $W_2$-proximal GD の非漸近収束速度は、KL の発散を特別な場合として含む凸目的函数の一般クラスに対して証明され、これは独立な関心を持つことができる。 解析フレームワークはフローベース生成モデルに適用された他の一階ワッサーシュタイン最適化スキームにまで拡張することができる。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Generative Modeling by Minimizing the Wasserstein-2 Loss [1.2277343096128712]
  本稿では,分布依存常微分方程式(ODE)を用いて2次ワッサーシュタイン損失($W$損失)を最小化することにより,教師なし学習問題にアプローチする。 主要な結果から、ODE の時空間法則は、$W$損失に対して勾配流を形成し、真のデータ分布に指数関数的に収束することを示す。 アルゴリズムはスキームに従い、永続的なトレーニングを適用することで設計されます。
  論文  参考訳（メタデータ） (2024-06-19T15:15:00Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Wasserstein Distributional Learning [5.830831796910439]
  Wasserstein Distributional Learning (WDL)はフレキシブルな密度オンスカラー回帰モデリングフレームワークである。 WDLは, 条件密度の非線形依存性をよりよく特徴付け, 明らかにする。 シミュレーションと実世界の応用を通してWDLフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-12T02:32:17Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。