論文の概要: On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow
- arxiv url: http://arxiv.org/abs/2011.02402v1
- Date: Wed, 4 Nov 2020 16:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 21:40:26.693306
- Title: On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow
- Title（参考訳）: GANにおける勾配の収束性について: 勾配流としてのMDD GAN
- Authors: Youssef Mroueh, Truyen Nguyen
- Abstract要約: パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
- 参考スコア（独自算出の注目度）: 26.725412498545385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the maximum mean discrepancy ($\mathrm{MMD}$) GAN problem and
propose a parametric kernelized gradient flow that mimics the min-max game in
gradient regularized $\mathrm{MMD}$ GAN. We show that this flow provides a
descent direction minimizing the $\mathrm{MMD}$ on a statistical manifold of
probability distributions. We then derive an explicit condition which ensures
that gradient descent on the parameter space of the generator in gradient
regularized $\mathrm{MMD}$ GAN is globally convergent to the target
distribution. Under this condition, we give non asymptotic convergence results
of gradient descent in MMD GAN. Another contribution of this paper is the
introduction of a dynamic formulation of a regularization of $\mathrm{MMD}$ and
demonstrating that the parametric kernelized descent for $\mathrm{MMD}$ is the
gradient flow of this functional with respect to the new Riemannian structure.
Our obtained theoretical result allows ones to treat gradient flows for quite
general functionals and thus has potential applications to other types of
variational inferences on a statistical manifold beyond GANs. Finally,
numerical experiments suggest that our parametric kernelized gradient flow
stabilizes GAN training and guarantees convergence.
- Abstract（参考訳）: 我々は、GANの最大平均誤差($\mathrm{MMD}$)問題を考察し、勾配正規化$\mathrm{MMD}$ GANにおけるmin-maxゲームを模倣するパラメトリックカーネル化勾配フローを提案する。
この流れは確率分布の統計的多様体上の$\mathrm{mmd}$を最小化する降下方向を与える。
次に、勾配正規化 $\mathrm{MMD}$ GAN におけるジェネレータのパラメータ空間上の勾配降下が対象分布に大域的に収束することを保証する明示的な条件を導出する。
この条件下では、MDD GANにおける勾配降下の非漸近収束結果を与える。
この論文のもう1つの貢献は、$\mathrm{MMD}$ の正規化の動的定式化の導入であり、$\mathrm{MMD}$ のパラメトリックな核化降下が、新しいリーマン構造に関してこの関数の勾配フローであることを示すことである。
得られた理論的結果は、非常に一般的な汎関数に対する勾配流を扱えるので、GAN 以外の統計多様体上の他の種類の変分推論にも応用できる。
最後に,我々のパラメトリック核化勾配流はGANトレーニングを安定させ,収束を保証することを示唆する数値実験を行った。
関連論文リスト
- Gradient Flows and Riemannian Structure in the Gromov-Wasserstein Geometry [29.650065650233223]
本稿ではGromov-Wasserstein(GW)幾何学における勾配流について検討する。
本稿では,$mathbbRd上の分布間の内部積 GW (IGW) 距離に着目した。
固有IGW幾何を創り出す固有IGW幾何を同定し,それを用いて,IGWのベナモ・ブレニエ式を定式化する。
論文 参考訳（メタデータ） (2024-07-16T14:53:23Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。
DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
論文 参考訳（メタデータ） (2023-11-27T02:12:02Z) - Bridging the Gap Between Variational Inference and Wasserstein Gradient
Flows [6.452626686361619]
我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。
ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。
また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
論文 参考訳（メタデータ） (2023-10-31T00:10:19Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Rigorous dynamical mean field theory for stochastic gradient descent
methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。
これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文 参考訳（メタデータ） (2022-10-12T21:10:55Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳（メタデータ） (2021-02-19T12:22:56Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。