論文の概要: On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow
- arxiv url: http://arxiv.org/abs/2011.02402v1
- Date: Wed, 4 Nov 2020 16:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 21:40:26.693306
- Title: On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient
Flow
- Title(参考訳): GANにおける勾配の収束性について: 勾配流としてのMDD GAN
- Authors: Youssef Mroueh, Truyen Nguyen
- Abstract要約: パラメトリックカーネル化勾配流は、勾配正規化$mathrmMMD$GANにおけるmin-maxゲームに類似していることを示す。
次に、正規化$mathrmMMD$GANにおける生成元の空間上の勾配降下が、対象分布に大域的に収束することを保証する明示的な条件を導出する。
- 参考スコア(独自算出の注目度): 26.725412498545385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the maximum mean discrepancy ($\mathrm{MMD}$) GAN problem and
propose a parametric kernelized gradient flow that mimics the min-max game in
gradient regularized $\mathrm{MMD}$ GAN. We show that this flow provides a
descent direction minimizing the $\mathrm{MMD}$ on a statistical manifold of
probability distributions. We then derive an explicit condition which ensures
that gradient descent on the parameter space of the generator in gradient
regularized $\mathrm{MMD}$ GAN is globally convergent to the target
distribution. Under this condition, we give non asymptotic convergence results
of gradient descent in MMD GAN. Another contribution of this paper is the
introduction of a dynamic formulation of a regularization of $\mathrm{MMD}$ and
demonstrating that the parametric kernelized descent for $\mathrm{MMD}$ is the
gradient flow of this functional with respect to the new Riemannian structure.
Our obtained theoretical result allows ones to treat gradient flows for quite
general functionals and thus has potential applications to other types of
variational inferences on a statistical manifold beyond GANs. Finally,
numerical experiments suggest that our parametric kernelized gradient flow
stabilizes GAN training and guarantees convergence.
- Abstract(参考訳): 我々は、GANの最大平均誤差($\mathrm{MMD}$)問題を考察し、勾配正規化$\mathrm{MMD}$ GANにおけるmin-maxゲームを模倣するパラメトリックカーネル化勾配フローを提案する。
この流れは確率分布の統計的多様体上の$\mathrm{mmd}$を最小化する降下方向を与える。
次に、勾配正規化 $\mathrm{MMD}$ GAN におけるジェネレータのパラメータ空間上の勾配降下が対象分布に大域的に収束することを保証する明示的な条件を導出する。
この条件下では、MDD GANにおける勾配降下の非漸近収束結果を与える。
この論文のもう1つの貢献は、$\mathrm{MMD}$ の正規化の動的定式化の導入であり、$\mathrm{MMD}$ のパラメトリックな核化降下が、新しいリーマン構造に関してこの関数の勾配フローであることを示すことである。
得られた理論的結果は、非常に一般的な汎関数に対する勾配流を扱えるので、GAN 以外の統計多様体上の他の種類の変分推論にも応用できる。
最後に,我々のパラメトリック核化勾配流はGANトレーニングを安定させ,収束を保証することを示唆する数値実験を行った。
関連論文リスト
- Bridging the Gap Between Variational Inference and Wasserstein Gradient
Flows [6.452626686361619]
我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。
ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。
また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
論文 参考訳(メタデータ) (2023-10-31T00:10:19Z) - Sampling via Gradient Flows in the Space of Probability Measures [10.892894776497165]
近年の研究では,確率測度空間における勾配流を考慮したアルゴリズムが,アルゴリズム開発のための新たな道を開くことが示されている。
本稿では,これらの勾配流の設計成分を精査することにより,このサンプリング手法に3つの貢献を行う。
論文 参考訳(メタデータ) (2023-10-05T15:20:35Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Rigorous dynamical mean field theory for stochastic gradient descent
methods [17.90683687731009]
一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。
これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
論文 参考訳(メタデータ) (2022-10-12T21:10:55Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - A proof of convergence for gradient descent in the training of
artificial neural networks for constant target functions [3.4792548480344254]
勾配降下法のリスク関数は, 実際に0に収束することを示す。
この作業の重要な貢献は、ANNパラメータの勾配フローシステムのLyapunov関数を明示的に指定することです。
論文 参考訳(メタデータ) (2021-02-19T13:33:03Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳(メタデータ) (2021-02-19T12:22:56Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳(メタデータ) (2021-02-15T13:24:41Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳(メタデータ) (2020-10-19T15:23:18Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。