論文の概要: Generative Modeling by Minimizing the Wasserstein-2 Loss
- arxiv url: http://arxiv.org/abs/2406.13619v2
- Date: Sun, 14 Jul 2024 05:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 00:06:54.779306
- Title: Generative Modeling by Minimizing the Wasserstein-2 Loss
- Title（参考訳）: Wasserstein-2損失最小化による生成モデリング
- Authors: Yu-Jui Huang, Zachariah Malik,
- Abstract要約: 本稿では,分布依存常微分方程式(ODE)を用いて2次ワッサーシュタイン損失($W$損失)を最小化することにより,教師なし学習問題にアプローチする。
主要な結果から、ODE の時空間法則は、$W$損失に対して勾配流を形成し、真のデータ分布に指数関数的に収束することを示す。
アルゴリズムはスキームに従い、永続的なトレーニングを適用することで設計されます。
- 参考スコア（独自算出の注目度）: 1.2277343096128712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper approaches the unsupervised learning problem by minimizing the second-order Wasserstein loss (the $W_2$ loss) through a distribution-dependent ordinary differential equation (ODE), whose dynamics involves the Kantorovich potential associated with the true data distribution and a current estimate of it. A main result shows that the time-marginal laws of the ODE form a gradient flow for the $W_2$ loss, which converges exponentially to the true data distribution. An Euler scheme for the ODE is proposed and it is shown to recover the gradient flow for the $W_2$ loss in the limit. An algorithm is designed by following the scheme and applying persistent training, which naturally fits our gradient-flow approach. In both low- and high-dimensional experiments, our algorithm outperforms Wasserstein generative adversarial networks by increasing the level of persistent training appropriately.
- Abstract（参考訳）: 本稿では、分布依存常微分方程式(ODE)を用いて、2次ワッサーシュタイン損失($W_2$損失)を最小化することにより、教師なし学習問題にアプローチする。
主要な結果は、ODE の時空間法則が、真のデータ分布に指数関数的に収束する$W_2$損失に対して勾配流を形成することを示している。
ODEのオイラースキームを提案し,限界値の$W_2$損失の勾配流を復元することを示した。
アルゴリズムはスキームに従い、永続的なトレーニングを適用することで設計されます。
低次元と高次元の両方の実験において、我々のアルゴリズムは、持続的トレーニングのレベルを適切に増加させることで、ワッサーシュタイン生成対向ネットワークより優れている。
関連論文リスト
- Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows [6.799748192975493]
低次元多様体に支持された学習分布の連続時間生成フローを定式化する。
We show that the Wasserstein-1 proximal operator regularize $f$-divergences to be compareds。
また, ワッサーシュタイン2近似作用素は, 最適輸送コストを加算することにより, 生成フローの経路を正則化することを示した。
論文 参考訳（メタデータ） (2024-07-16T16:34:31Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimiax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - A backward differential deep learning-based algorithm for solving high-dimensional nonlinear backward stochastic differential equations [0.6040014326756179]
本稿では,高次元非線形逆微分方程式を解くための新しい逆微分深層学習アルゴリズムを提案する。
ディープニューラルネットワーク(DNN)モデルは、入力やラベルだけでなく、対応するラベルの差分に基づいて訓練される。
論文 参考訳（メタデータ） (2024-04-12T13:05:35Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
論文 参考訳（メタデータ） (2023-10-26T17:06:23Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Second-order flows for computing the ground states of rotating
Bose-Einstein condensates [5.252966797394752]
2次時間微分を含むいくつかの人工的進化微分方程式は1次であると考えられている。
提案した人工力学は、散逸を伴う新しい二階双曲偏微分方程式である。
新しいアルゴリズムは勾配流に基づく最先端の数値法よりも優れている。
論文 参考訳（メタデータ） (2022-05-02T10:45:49Z) - Learning High Dimensional Wasserstein Geodesics [55.086626708837635]
高次元の2つの確率分布の間のワッサーシュタイン測地線を計算するための新しい定式化と学習戦略を提案する。
ラグランジュ乗算器の手法を最適輸送(OT)問題の動的定式化に適用することにより、サドル点がワッサーシュタイン測地線であるミニマックス問題を導出する。
次に、深層ニューラルネットワークによる関数のパラメータ化を行い、トレーニングのためのサンプルベースの双方向学習アルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-02-05T04:25:28Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。