論文の概要: Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
- arxiv url: http://arxiv.org/abs/2407.11901v1
- Date: Tue, 16 Jul 2024 16:34:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 13:53:50.870455
- Title: Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
- Title（参考訳）: Wasserstein-1 と Wasserstein-2 の組合せ: 十分に仮定された生成フローによる頑健な多様体学習
- Authors: Hyemin Gu, Markos A. Katsoulakis, Luc Rey-Bellet, Benjamin J. Zhang,
- Abstract要約: 低次元多様体に支持された学習分布の連続時間生成フローを定式化する。
We show that the Wasserstein-1 proximal operator regularize $f$-divergences to be compareds。
また, ワッサーシュタイン2近似作用素は, 最適輸送コストを加算することにより, 生成フローの経路を正則化することを示した。
- 参考スコア（独自算出の注目度）: 6.799748192975493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We formulate well-posed continuous-time generative flows for learning distributions that are supported on low-dimensional manifolds through Wasserstein proximal regularizations of $f$-divergences. Wasserstein-1 proximal operators regularize $f$-divergences so that singular distributions can be compared. Meanwhile, Wasserstein-2 proximal operators regularize the paths of the generative flows by adding an optimal transport cost, i.e., a kinetic energy penalization. Via mean-field game theory, we show that the combination of the two proximals is critical for formulating well-posed generative flows. Generative flows can be analyzed through optimality conditions of a mean-field game (MFG), a system of a backward Hamilton-Jacobi (HJ) and a forward continuity partial differential equations (PDEs) whose solution characterizes the optimal generative flow. For learning distributions that are supported on low-dimensional manifolds, the MFG theory shows that the Wasserstein-1 proximal, which addresses the HJ terminal condition, and the Wasserstein-2 proximal, which addresses the HJ dynamics, are both necessary for the corresponding backward-forward PDE system to be well-defined and have a unique solution with provably linear flow trajectories. This implies that the corresponding generative flow is also unique and can therefore be learned in a robust manner even for learning high-dimensional distributions supported on low-dimensional manifolds. The generative flows are learned through adversarial training of continuous-time flows, which bypasses the need for reverse simulation. We demonstrate the efficacy of our approach for generating high-dimensional images without the need to resort to autoencoders or specialized architectures.
- Abstract（参考訳）: 我々は、ワッサーシュタイン近位正規化を$f$-divergences とすることで、低次元多様体上で支持される学習分布に対して、よく提示された連続時間生成フローを定式化する。
Wasserstein-1 近似作用素は、特異分布を比較するために$f$-divergences を正則化する。
一方、ワッサーシュタイン2近似作用素は、最適な輸送コスト、すなわち運動エネルギーのペナル化を加えることによって、生成フローの経路を規則化する。
平均場ゲーム理論により, 2つの近位子の組み合わせが, 良好な生成フローの定式化に重要であることを示す。
生成フローは、平均場ゲーム(MFG)の最適条件、後ろ向きハミルトン・ヤコビ(HJ)のシステム、解が最適生成フローを特徴づける前方連続偏微分方程式(PDE)によって解析することができる。
低次元多様体上で支持される学習分布について、MFG理論は、HJ終端条件に対処するワッサーシュタイン-1近似と、HJ力学に対処するワッサースタイン-2近似の両方が、対応する後方PDE系が十分に定義され、証明可能な線形フロー軌跡を持つ一意の解を持つために必要であることを示している。
これは、対応する生成フローも一意であり、従って、低次元多様体で支えられる高次元分布を学習しても、ロバストな方法で学習できることを意味する。
生成フローは、逆シミュレーションの必要性を回避した連続時間フローの逆トレーニングを通じて学習される。
オートエンコーダや特殊なアーキテクチャを使わずに高次元画像を生成する手法の有効性を実証する。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Generative Modeling by Minimizing the Wasserstein-2 Loss [1.2277343096128712]
本稿では,分布依存常微分方程式(ODE)を用いて2次ワッサーシュタイン損失($W$損失)を最小化することにより,教師なし学習問題にアプローチする。
主要な結果から、ODE の時空間法則は、$W$損失に対して勾配流を形成し、真のデータ分布に指数関数的に収束することを示す。
アルゴリズムはスキームに従い、永続的なトレーニングを適用することで設計されます。
論文 参考訳（メタデータ） (2024-06-19T15:15:00Z) - Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space [17.13355049019388]
我々はワッサーシュタイン空間上の勾配流を勾配降下流(SGD)と分散還元流(SVRG)に拡張する。
ワッサーシュタイン空間の性質を利用して、ユークリッド空間における対応する離散力学を近似するために微分方程式を構築する。
この結果はユークリッド空間における結果と一致することが証明されている。
論文 参考訳（メタデータ） (2024-01-24T15:35:44Z) - Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
論文 参考訳（メタデータ） (2023-10-26T17:06:23Z) - Learning to Accelerate Partial Differential Equations via Latent Global
Evolution [64.72624347511498]
The Latent Evolution of PDEs (LE-PDE) is a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs。
我々は,このような潜在力学を効果的に学習し,長期的安定性を確保するために,新たな学習目標を導入する。
更新対象の寸法が最大128倍、速度が最大15倍向上し、競争精度が向上した。
論文 参考訳（メタデータ） (2022-06-15T17:31:24Z) - Smooth Normalizing Flows [0.0]
コンパクト区間とハイパートリの両方に作用する滑らかな混合変換のクラスを導入する。
このような逆関数は、逆関数定理を通じて前方評価から計算可能であることを示す。
このような滑らかな流れの2つの利点は、シミュレーションデータと力のマッチングによるトレーニングが可能であり、分子動力学シミュレーションのポテンシャルとして利用できることである。
論文 参考訳（メタデータ） (2021-10-01T12:27:14Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳（メタデータ） (2021-06-07T20:43:04Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。
提案手法は,SurVAE フローとして表現できることが示唆された。
論文 参考訳（メタデータ） (2020-07-06T13:13:22Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。