論文の概要: GANs as Gradient Flows that Converge

• arxiv url: http://arxiv.org/abs/2205.02910v2
• Date: Mon, 20 Mar 2023 06:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 04:37:27.423499
• Title: GANs as Gradient Flows that Converge
• Title（参考訳）: 収束する勾配流としてのGAN
• Authors: Yu-Jui Huang, Yuchong Zhang
• Abstract要約: 分布依存常微分方程式によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示す。 ODEのシミュレーションは、生成ネットワーク(GAN)のトレーニングと等価である。 この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。
• 参考スコア（独自算出の注目度）: 3.8707695363745223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper approaches the unsupervised learning problem by gradient descent in the space of probability density functions. A main result shows that along the gradient flow induced by a distribution-dependent ordinary differential equation (ODE), the unknown data distribution emerges as the long-time limit. That is, one can uncover the data distribution by simulating the distribution-dependent ODE. Intriguingly, the simulation of the ODE is shown equivalent to the training of generative adversarial networks (GANs). This equivalence provides a new "cooperative" view of GANs and, more importantly, sheds new light on the divergence of GANs. In particular, it reveals that the GAN algorithm implicitly minimizes the mean squared error (MSE) between two sets of samples, and this MSE fitting alone can cause GANs to diverge. To construct a solution to the distribution-dependent ODE, we first show that the associated nonlinear Fokker-Planck equation has a unique weak solution, by the Crandall-Liggett theorem for differential equations in Banach spaces. Based on this solution to the Fokker-Planck equation, we construct a unique solution to the ODE, using Trevisan's superposition principle. The convergence of the induced gradient flow to the data distribution is obtained by analyzing the Fokker-Planck equation.
• Abstract（参考訳）: 本稿では,確率密度関数の空間における勾配降下による教師なし学習問題にアプローチする。 主な結果は、分布依存常微分方程式(ODE)によって誘導される勾配流に沿って、未知のデータ分布が長時間の極限として現れることを示している。 つまり、分散依存odeをシミュレートすることで、データ分布を明らかにすることができる。 興味深いことに、ODEのシミュレーションはGAN(Generative Adversarial Network)のトレーニングと同等である。 この等価性は、GANの新たな「協力的」見解を提供し、さらに重要なのは、GANの多様化に新たな光を放つことである。 特に、GANアルゴリズムは2組のサンプル間の平均二乗誤差(MSE)を暗黙的に最小化しており、このMSEフィッティングだけでGANが分岐する可能性がある。 分布依存ODEの解を構築するために、バナッハ空間の微分方程式に対するクランドール・リゲットの定理により、関連する非線形フォッカー・プランク方程式がユニークな弱解を持つことを示す。 フォッカー・プランク方程式のこの解に基づいて、トレビサンの重ね合わせ原理を用いてODEのユニークな解を構築する。 フォッカー・プランク方程式を解析し、データ分布への誘導勾配流れの収束を求める。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors [0.0]
  拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
  論文  参考訳（メタデータ） (2024-05-23T07:28:56Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• On the Computation of the Gaussian Rate-Distortion-Perception Function [10.564071872770146]
  平均二乗誤差(MSE)歪み下における多変量ガウス音源に対するレート歪み知覚関数(RDPF)の計算について検討した。 我々は、関連するアルゴリズムの実現、および収束と収束のキャラクタリゼーションの速度を提供する。 計算結果を数値シミュレーションで相関させ,既存の結果に関連付ける。
  論文  参考訳（メタデータ） (2023-11-15T18:34:03Z)
• Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals [3.4240632942024685]
  ポテンシャル関数が支配する分布からサンプリングする問題を考察する。 本研究は, 決定論的な楽譜に基づくMCMC法を提案し, 粒子に対する決定論的進化をもたらす。
  論文  参考訳（メタデータ） (2023-08-28T23:51:33Z)
• Error Bounds for Flow Matching Methods [38.9898500163582]
  フローマッチング法は、2つの任意の確率分布間のフローを近似する。 近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:13:53Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Stationary Density Estimation of It\^o Diffusions Using Deep Learning [6.8342505943533345]
  離散時間系列からのエルゴード的伊藤拡散の定常測度に関連する密度推定問題を考察する。 我々は深層ニューラルネットワークを用いてSDEのドリフトと拡散の項を近似する。 我々は、適切な数学的仮定の下で提案されたスキームの収束を確立する。
  論文  参考訳（メタデータ） (2021-09-09T01:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。