論文の概要: GANs as Gradient Flows that Converge
- arxiv url: http://arxiv.org/abs/2205.02910v2
- Date: Mon, 20 Mar 2023 06:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 04:37:27.423499
- Title: GANs as Gradient Flows that Converge
- Title(参考訳): 収束する勾配流としてのGAN
- Authors: Yu-Jui Huang, Yuchong Zhang
- Abstract要約: 分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。
ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。
この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
- 参考スコア(独自算出の注目度): 3.8707695363745223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper approaches the unsupervised learning problem by gradient descent
in the space of probability density functions. A main result shows that along
the gradient flow induced by a distribution-dependent ordinary differential
equation (ODE), the unknown data distribution emerges as the long-time limit.
That is, one can uncover the data distribution by simulating the
distribution-dependent ODE. Intriguingly, the simulation of the ODE is shown
equivalent to the training of generative adversarial networks (GANs). This
equivalence provides a new "cooperative" view of GANs and, more importantly,
sheds new light on the divergence of GANs. In particular, it reveals that the
GAN algorithm implicitly minimizes the mean squared error (MSE) between two
sets of samples, and this MSE fitting alone can cause GANs to diverge. To
construct a solution to the distribution-dependent ODE, we first show that the
associated nonlinear Fokker-Planck equation has a unique weak solution, by the
Crandall-Liggett theorem for differential equations in Banach spaces. Based on
this solution to the Fokker-Planck equation, we construct a unique solution to
the ODE, using Trevisan's superposition principle. The convergence of the
induced gradient flow to the data distribution is obtained by analyzing the
Fokker-Planck equation.
- Abstract(参考訳): 本稿では,確率密度関数の空間における勾配降下による教師なし学習問題にアプローチする。
主な結果は、分布依存常微分方程式(ODE)によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示している。
つまり、分散依存odeをシミュレートすることで、データ分布を明らかにすることができる。
興味深いことに、ODEのシミュレーションはGAN(Generative Adversarial Network)のトレーニングと同等である。
この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
特に、GANアルゴリズムは2組のサンプル間の平均二乗誤差(MSE)を暗黙的に最小化しており、このMSEフィッティングだけでGANが分岐する可能性がある。
分布依存ODEの解を構築するために、バナッハ空間の微分方程式に対するクランドール・リゲットの定理により、関連する非線形フォッカー・プランク方程式がユニークな弱解を持つことを示す。
フォッカー・プランク方程式のこの解に基づいて、トレビサンの重ね合わせ原理を用いてODEのユニークな解を構築する。
フォッカー・プランク方程式を解析し、データ分布への誘導勾配流れの収束を求める。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - On the Computation of the Gaussian Rate-Distortion-Perception Function [10.564071872770146]
平均二乗誤差(MSE)歪み下における多変量ガウス音源に対するレート歪み知覚関数(RDPF)の計算について検討した。
我々は、関連するアルゴリズムの実現、および収束と収束のキャラクタリゼーションの速度を提供する。
計算結果を数値シミュレーションで相関させ,既存の結果に関連付ける。
論文 参考訳(メタデータ) (2023-11-15T18:34:03Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳(メタデータ) (2023-08-28T23:51:33Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳(メタデータ) (2023-05-26T12:13:53Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳(メタデータ) (2023-02-07T10:51:53Z) - Stationary Density Estimation of It\^o Diffusions Using Deep Learning [6.8342505943533345]
離散時間系列からのエルゴード的伊藤拡散の定常測度に関連する密度推定問題を考察する。
我々は深層ニューラルネットワークを用いてSDEのドリフトと拡散の項を近似する。
我々は、適切な数学的仮定の下で提案されたスキームの収束を確立する。
論文 参考訳(メタデータ) (2021-09-09T01:57:14Z) - Large-Scale Wasserstein Gradient Flows [84.73670288608025]
ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。
我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。
その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
論文 参考訳(メタデータ) (2021-06-01T19:21:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。