論文の概要: Generative Modeling by Minimizing the Wasserstein-2 Loss
- arxiv url: http://arxiv.org/abs/2406.13619v1
- Date: Wed, 19 Jun 2024 15:15:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 19:14:23.526456
- Title: Generative Modeling by Minimizing the Wasserstein-2 Loss
- Title（参考訳）: Wasserstein-2損失最小化による生成モデリング
- Authors: Yu-Jui Huang, Zachariah Malik,
- Abstract要約: 本稿では,2次Wasserstein損失($W$損失)を最小限に抑え,教師なし学習問題にアプローチする。
アルゴリズムは、このスキームに従い、永続的なトレーニングを適用することで設計されます。
低次元と高次元の両方の実験において、我々のアルゴリズムはワッサーシュタイン生成逆数ネットワークよりもはるかに高速に収束する。
- 参考スコア（独自算出の注目度）: 1.2277343096128712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper approaches the unsupervised learning problem by minimizing the second-order Wasserstein loss (the $W_2$ loss). The minimization is characterized by a distribution-dependent ordinary differential equation (ODE), whose dynamics involves the Kantorovich potential between a current estimated distribution and the true data distribution. A main result shows that the time-marginal law of the ODE converges exponentially to the true data distribution. To prove that the ODE has a unique solution, we first construct explicitly a solution to the associated nonlinear Fokker-Planck equation and show that it coincides with the unique gradient flow for the $W_2$ loss. Based on this, a unique solution to the ODE is built from Trevisan's superposition principle and the exponential convergence results. An Euler scheme is proposed for the distribution-dependent ODE and it is shown to correctly recover the gradient flow for the $W_2$ loss in the limit. An algorithm is designed by following the scheme and applying persistent training, which is natural in our gradient-flow framework. In both low- and high-dimensional experiments, our algorithm converges much faster than and outperforms Wasserstein generative adversarial networks, by increasing the level of persistent training appropriately.
- Abstract（参考訳）: 本稿では,2次Wasserstein損失(W_2$損失)を最小化することにより,教師なし学習問題にアプローチする。
最小化は分布依存常微分方程式(ODE)によって特徴づけられ、その力学は現在の推定分布と真のデータ分布の間のカントロビウスポテンシャルを含む。
主な結果は、ODEの時空間法則が真のデータ分布に指数関数的に収束することを示している。
ODE が一意解であることを証明するため、まず、関連する非線形フォッカー・プランク方程式の解を明示的に構築し、W_2$損失に対する一意勾配流と一致することを示す。
これに基づいて、ODEのユニークな解は、トレビサンの重ね合わせ原理と指数収束結果から作られる。
分布依存ODEに対してオイラースキームが提案され、限界の$W_2$損失に対する勾配流を正確に回復することが示されている。
アルゴリズムは、このスキームに従い、永続的なトレーニングを適用することで設計されます。
低次元と高次元の両方の実験において、我々のアルゴリズムは、持続的トレーニングのレベルを適切に増加させることで、ワッサーシュタイン生成逆数ネットワークよりもはるかに高速に収束し、性能が向上する。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。
RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows [6.799748192975493]
低次元多様体に支持された学習分布の連続時間生成フローを定式化する。
We show that the Wasserstein-1 proximal operator regularize $f$-divergences to be compareds。
また, ワッサーシュタイン2近似作用素は, 最適輸送コストを加算することにより, 生成フローの経路を正則化することを示した。
論文 参考訳（メタデータ） (2024-07-16T16:34:31Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - A backward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
本稿では,高次元非線形逆微分方程式を解くための新しい逆微分深層学習アルゴリズムを提案する。
ディープニューラルネットワーク(DNN)モデルは、入力やラベルだけでなく、対応するラベルの差分に基づいて訓練される。
論文 参考訳（メタデータ） (2024-04-12T13:05:35Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
論文 参考訳（メタデータ） (2023-10-26T17:06:23Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Second-order flows for computing the ground states of rotating
Bose-Einstein condensates [5.252966797394752]
2次時間微分を含むいくつかの人工的進化微分方程式は1次であると考えられている。
提案した人工力学は、散逸を伴う新しい二階双曲偏微分方程式である。
新しいアルゴリズムは勾配流に基づく最先端の数値法よりも優れている。
論文 参考訳（メタデータ） (2022-05-02T10:45:49Z) - Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。
ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。
次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-02-05T04:25:28Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。