Fugu-MT 論文翻訳(概要): WGAN with an Infinitely Wide Generator Has No Spurious Stationary Points

論文の概要: WGAN with an Infinitely Wide Generator Has No Spurious Stationary Points

arxiv url: http://arxiv.org/abs/2102.07541v1
Date: Mon, 15 Feb 2021 13:24:19 GMT
ステータス: 処理完了
システム内更新日: 2021-02-16 19:20:40.169926
Title: WGAN with an Infinitely Wide Generator Has No Spurious Stationary Points
Title（参考訳）: 無限に広い発電機を持つWGANには定常点がない
Authors: Albert No, Taeho Yoon, Se-Hyeon Kwon, Ernest K. Ryu
Abstract要約: 2層無限幅生成器と2層有限幅判別器を有するganは、スプリアス定常点を持たないことを示す。次に, 発生器の幅が有限だが幅が広い場合, 半径が任意に大きくなる球内には, 突発的な静止点が存在しないことを示す。
参考スコア（独自算出の注目度）: 3.899824115379246
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative adversarial networks (GAN) are a widely used class of deep generative models, but their minimax training dynamics are not understood very well. In this work, we show that GANs with a 2-layer infinite-width generator and a 2-layer finite-width discriminator trained with stochastic gradient ascent-descent have no spurious stationary points. We then show that when the width of the generator is finite but wide, there are no spurious stationary points within a ball whose radius becomes arbitrarily large (to cover the entire parameter space) as the width goes to infinity.
Abstract（参考訳）: generative adversarial networks (gan) は広く使われている深層生成モデルのクラスであるが、そのミニマックストレーニングダイナミクスはよく理解されていない。本研究では, 2層無限幅発生器と2層有限幅判別器を確率勾配で訓練したGANが, 定常点を持たないことを示す。次に、ジェネレータの幅が有限だが幅が広い場合、幅が無限に進むにつれて、半径が任意に大きい(パラメータ空間全体を覆う)ボール内にスプリアス静止点が存在しないことを示します。

関連論文リスト

Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文参考訳（メタデータ） (2024-05-27T18:15:05Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
Universal approximation with complex-valued deep narrow neural networks [0.0]
境界幅と任意の深さを持つ複素数値ニューラルネットワークの普遍性について検討する。より狭い複素数値ネットワークは、その活性化関数が正則でもなく、反正則でもなく、$mathbbR$-affineでもない場合に限り普遍であることを示す。
論文参考訳（メタデータ） (2023-05-26T13:22:14Z)
Width and Depth Limits Commute in Residual Networks [26.97391529844503]
接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
論文参考訳（メタデータ） (2023-02-01T13:57:32Z)
On the infinite-depth limit of finite-width neural networks [3.8073142980733]
ランダムなガウス重みを持つ有限幅残留ニューラルネットワークの無限深さ限界について検討する。幅を固定し、深さを無限大にすることで、プレアクティベーションのベクトルは分布中にゼロドリフト拡散過程に収束する。無限深度極限は活性化関数の選択によって異なる分布が得られることを示す。
論文参考訳（メタデータ） (2022-10-03T02:35:23Z)
HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文参考訳（メタデータ） (2022-04-18T06:11:44Z)
Point Cloud Upsampling via Disentangled Refinement [86.3641957163818]
3Dスキャンによって生成された点雲は、しばしばスパース、非均一、ノイズである。近年のアップサンプリング手法は, 分布均一性と近接場を両立させながら, 密度の高い点集合を生成することを目的としている。 2つのカスケードサブネットワーク、高密度ジェネレータ、空間精錬器を定式化する。
論文参考訳（メタデータ） (2021-06-09T02:58:42Z)
Fully Hyperbolic Neural Networks [63.22521652077353]
ローレンツモデルに基づく双曲型ネットワークを構築するための,完全双曲型フレームワークを提案する。提案手法は,浅層ネットワークと深層ネットワークの両方を構築する上で,優れた性能を示す。
論文参考訳（メタデータ） (2021-05-31T03:36:49Z)
Slimmable Generative Adversarial Networks [54.61774365777226]
近年、GAN(Generative adversarial Network)は目覚ましい進歩を遂げていますが、モデルの継続的な拡大は、実用的なアプリケーションに広く展開することを困難にしています。本稿では,実行時の各種品質効率トレードオフに対応するため,発電機の幅を柔軟に切り替えることのできるスリムブルGANを提案する。
論文参考訳（メタデータ） (2020-12-10T13:35:22Z)
Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。