論文の概要: Scalable Wasserstein Gradient Flow for Generative Modeling through Unbalanced Optimal Transport
- arxiv url: http://arxiv.org/abs/2402.05443v3
- Date: Mon, 3 Jun 2024 08:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 19:03:18.256103
- Title: Scalable Wasserstein Gradient Flow for Generative Modeling through Unbalanced Optimal Transport
- Title（参考訳）: 非平衡最適輸送による生成モデリングのためのスケーラブルワッサースタイン勾配流
- Authors: Jaemoo Choi, Jaewoong Choi, Myungjoo Kang,
- Abstract要約: 半二重JKO(S-JKO)と呼ばれるスケーラブルなWGFベースの生成モデルを導入する。
我々のモデルは、JKOステップと不均衡最適輸送の等価性から導かれるJKOステップの半二重形式に基づいている。
我々のモデルは既存のWGFベースの生成モデルよりも大幅に優れていることを実証する。
- 参考スコア（独自算出の注目度）: 8.880526853373357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wasserstein Gradient Flow (WGF) describes the gradient dynamics of probability density within the Wasserstein space. WGF provides a promising approach for conducting optimization over the probability distributions. Numerically approximating the continuous WGF requires the time discretization method. The most well-known method for this is the JKO scheme. In this regard, previous WGF models employ the JKO scheme and parametrize transport map for each JKO step. However, this approach results in quadratic training complexity $O(K^2)$ with the number of JKO step $K$. This severely limits the scalability of WGF models. In this paper, we introduce a scalable WGF-based generative model, called Semi-dual JKO (S-JKO). Our model is based on the semi-dual form of the JKO step, derived from the equivalence between the JKO step and the Unbalanced Optimal Transport. Our approach reduces the training complexity to $O(K)$. We demonstrate that our model significantly outperforms existing WGF-based generative models, achieving FID scores of 2.62 on CIFAR-10 and 5.46 on CelebA-HQ-256, which are comparable to state-of-the-art image generative models.
- Abstract（参考訳）: Wasserstein Gradient Flow (WGF) は、Wasserstein空間内の確率密度の勾配力学を記述する。
WGFは確率分布に対して最適化を行うための有望なアプローチを提供する。
連続WGFを数値的に近似するには時間離散化が必要である。
最もよく知られている方法はJKOスキームである。
この点において、従来のWGFモデルは、各JKOステップに対して、JKOスキームとパラメタライズトランスポートマップを用いている。
しかし、このアプローチは、JKOのステップ数$K$の2次トレーニング複雑性$O(K^2)$となる。
これによりWGFモデルのスケーラビリティが著しく制限される。
本稿では,Semi-dual JKO(S-JKO)と呼ばれるスケーラブルなWGFベースの生成モデルを提案する。
我々のモデルは、JKOステップと不均衡最適輸送の等価性から導かれるJKOステップの半二重形式に基づいている。
我々のアプローチは、トレーニングの複雑さを$O(K)$に減らします。
CIFAR-10ではFIDスコアが2.62、CelebA-HQ-256では5.46と、最先端の画像生成モデルに匹敵する結果を得た。
関連論文リスト
- JKO for Landau: a variational particle method for homogeneous Landau equation [7.600098227248821]
我々は、JKOスキームの枠組みにおけるランドー方程式の新しい暗黙的粒子法を開発した。
重要な観察は、フローマップがかなり複雑な積分方程式に従って進化する一方で、未知成分は単に対応する密度のスコア関数であるということである。
論文 参考訳（メタデータ） (2024-09-18T20:08:19Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳（メタデータ） (2024-02-15T08:51:49Z) - Convergence of flow-based generative models via proximal gradient descent in Wasserstein space [20.771897445580723]
フローベースの生成モデルは、データ生成と可能性の計算において一定の利点がある。
本研究では,進行流モデルによるデータ分布の生成を理論的に保証する。
論文 参考訳（メタデータ） (2023-10-26T17:06:23Z) - Generative Modelling of L\'{e}vy Area for High Order SDE Simulation [5.9535699822923]
L'evyGANはブラウン増分に基づくL'evy領域の近似サンプルを生成するディープラーニングモデルである。
L'evyGANは関節分布と辺縁分布の両方を測定するいくつかの指標で最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-08-04T16:38:37Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Generative Modeling through the Semi-dual Formulation of Unbalanced
Optimal Transport [9.980822222343921]
非平衡最適輸送(UOT)の半二重定式化に基づく新しい生成モデルを提案する。
OTとは異なり、UOTは分散マッチングの厳しい制約を緩和する。このアプローチは、外れ値に対する堅牢性、トレーニング中の安定性、より高速な収束を提供する。
CIFAR-10ではFIDスコアが2.97、CelebA-HQ-256では6.36である。
論文 参考訳（メタデータ） (2023-05-24T06:31:05Z) - Sliced-Wasserstein Gradient Flows [15.048733056992855]
確率分布の空間における函数の最小化は、ワッサーシュタイン勾配流によって行うことができる。
本研究は,スライス-ワッサーシュタイン距離による確率測度空間における勾配流の利用を提案する。
論文 参考訳（メタデータ） (2021-10-21T08:34:26Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳（メタデータ） (2021-06-01T19:21:48Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Denoising Diffusion Probabilistic Models [91.94962645056896]
拡散確率モデルを用いて高品質な画像合成結果を示す。
本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
論文 参考訳（メタデータ） (2020-06-19T17:24:44Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。