論文の概要: GANs as Gradient Flows that Converge
- arxiv url: http://arxiv.org/abs/2205.02910v1
- Date: Thu, 5 May 2022 20:29:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 14:28:48.983705
- Title: GANs as Gradient Flows that Converge
- Title（参考訳）: 収束する勾配流としてのGAN
- Authors: Yu-Jui Huang, Yuchong Zhang
- Abstract要約: 本稿では,確率密度関数の空間における勾配降下による教師なし学習問題にアプローチする。
分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が、この密度の流れの長期的限界として現れることを示す。
ODEのシミュレーションはGAN(Generative Adversarial Network)のトレーニングと等価であることがわかった。
- 参考スコア（独自算出の注目度）: 3.8707695363745223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper approaches the unsupervised learning problem by gradient descent
in the space of probability density functions. Our main result shows that along
the gradient flow induced by a distribution-dependent ordinary differential
equation (ODE), the unknown data distribution emerges as the long-time limit of
this flow of densities. That is, one can uncover the data distribution by
simulating the distribution-dependent ODE. Intriguingly, we find that the
simulation of the ODE is equivalent to the training of generative adversarial
networks (GANs). The GAN framework, by definition a non-cooperative game
between a generator and a discriminator, can therefore be viewed alternatively
as a cooperative game between a navigator and a calibrator (in collaboration to
simulate the ODE). At the theoretic level, this new perspective simplifies the
analysis of GANs and gives new insight into their performance. To construct a
solution to the distribution-dependent ODE, we first show that the associated
nonlinear Fokker-Planck equation has a unique weak solution, using the
Crandall-Liggett theorem for differential equations in Banach spaces. From this
solution to the Fokker-Planck equation, we construct a unique solution to the
ODE, relying on Trevisan's superposition principle. The convergence of the
induced gradient flow to the data distribution is obtained by analyzing the
Fokker-Planck equation.
- Abstract（参考訳）: 本稿では,確率密度関数の空間における勾配降下による教師なし学習問題にアプローチする。
その結果,分布依存常微分方程式 (ode) によって引き起こされる勾配流に沿って, この密度の流れの長期的限界として未知のデータ分布が現れる。
つまり、分散依存odeをシミュレートすることで、データ分布を明らかにすることができる。
興味深いことに、ODEのシミュレーションはGAN(Generative Adversarial Network)のトレーニングと等価である。
したがって、ganフレームワークは、ジェネレータと判別器の間の非協力的なゲームを定義することにより、ナビゲータと校正器の間の協調的なゲームとして(odeをシミュレートするために協調的に)見なすことができる。
理論レベルでは、この新しい視点は、GANの分析を単純化し、そのパフォーマンスに関する新たな洞察を与える。
分布依存ODEの解を構築するために、バナッハ空間の微分方程式に対するクランドール・リゲットの定理を用いて、関連する非線形フォッカー・プランク方程式がユニークな弱解を持つことを示す。
この解からフォッカー・プランク方程式まで、トレビサンの重ね合わせの原理を頼りにODEのユニークな解を構築する。
フォッカー・プランク方程式を解析し、データ分布への誘導勾配流れの収束を求める。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors [0.0]
拡散モデルやスコアベースモデルでは画像生成の性能が向上した。
本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
論文 参考訳（メタデータ） (2024-05-23T07:28:56Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - On the Computation of the Gaussian Rate-Distortion-Perception Function [10.564071872770146]
平均二乗誤差(MSE)歪み下における多変量ガウス音源に対するレート歪み知覚関数(RDPF)の計算について検討した。
我々は、関連するアルゴリズムの実現、および収束と収束のキャラクタリゼーションの速度を提供する。
計算結果を数値シミュレーションで相関させ,既存の結果に関連付ける。
論文 参考訳（メタデータ） (2023-11-15T18:34:03Z) - Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
ポテンシャル関数が支配する分布からサンプリングする問題を考察する。
本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
論文 参考訳（メタデータ） (2023-08-28T23:51:33Z) - Error Bounds for Flow Matching Methods [38.9898500163582]
フローマッチング法は、2つの任意の確率分布間のフローを近似する。
近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
論文 参考訳（メタデータ） (2023-05-26T12:13:53Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Stationary Density Estimation of It\^o Diffusions Using Deep Learning [6.8342505943533345]
離散時間系列からのエルゴード的伊藤拡散の定常測度に関連する密度推定問題を考察する。
我々は深層ニューラルネットワークを用いてSDEのドリフトと拡散の項を近似する。
我々は、適切な数学的仮定の下で提案されたスキームの収束を確立する。
論文 参考訳（メタデータ） (2021-09-09T01:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。