論文の概要: Gradient Normalization for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2109.02235v1
• Date: Mon, 6 Sep 2021 04:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:30:01.657097
• Title: Gradient Normalization for Generative Adversarial Networks
• Title（参考訳）: 生成逆ネットワークの勾配正規化
• Authors: Yi-Lun Wu, Hong-Han Shuai, Zhi-Rui Tam, Hong-Yu Chiu
• Abstract要約: 本稿では,GAN(Generative Adversarial Networks)のトレーニング不安定性に対処するために,勾配正規化(GN)と呼ばれる新しい正規化手法を提案する。 提案したGNは、判別器関数にハードな1-Lipschitz制約を課すだけで、判別器の容量を増大させる。 4つのデータセットの実験では、勾配正規化で訓練されたGANが、Frechet Inception DistanceとInception Scoreの両方の観点から既存の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 12.647937973078362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel normalization method called gradient normalization (GN) to tackle the training instability of Generative Adversarial Networks (GANs) caused by the sharp gradient space. Unlike existing work such as gradient penalty and spectral normalization, the proposed GN only imposes a hard 1-Lipschitz constraint on the discriminator function, which increases the capacity of the discriminator. Moreover, the proposed gradient normalization can be applied to different GAN architectures with little modification. Extensive experiments on four datasets show that GANs trained with gradient normalization outperform existing methods in terms of both Frechet Inception Distance and Inception Score.
• Abstract（参考訳）: 本稿では,鋭い勾配空間に起因する生成逆ネットワーク(gans)のトレーニング不安定性に取り組むために,勾配正規化(gn)と呼ばれる新しい正規化法を提案する。 勾配のペナルティやスペクトル正規化のような既存の研究とは異なり、提案されたGNは判別器関数にハード1-Lipschitz制約を課すだけで、判別器の容量が増加する。 さらに,提案する勾配正規化は,変更の少ない異なるganアーキテクチャに適用できる。 4つのデータセットに対する大規模な実験により、GANが勾配正規化で訓練された場合、Frechet Inception DistanceとInception Scoreの両方の観点から既存の手法よりも優れていることが示された。

関連論文リスト

• Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers [2.1415873597974286]
  比例勾配ノルムは、最小分散で勾配雑音スケール(GNS)を推定するための重要な要素である。 本稿では,パラメータ勾配を計算しながら基準を同時に計算することで,3次元あるいはそれ以上のテンソル状態におけるFLOPを最小化する手法を提案する。 現代変圧器モデルの総 GNS は正規化層のみの GNS によりよく予測されている。
  論文  参考訳（メタデータ） (2024-11-01T19:50:00Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Penalty Gradient Normalization for Generative Adversarial Networks [4.23584867406755]
  本稿では,GAN(Generative Adversarial Networks)のトレーニング不安定性に対処するために,PGN(Perperty gradient normalization)と呼ばれる新しい正規化手法を提案する。 3つのデータセットに対する大規模な実験により、GANがペナルティ勾配正規化で訓練された場合、Frechet InceptionとDistanceとInception Scoreの両方の点で既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-23T15:57:53Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Implicit Gradient Regularization [18.391141066502644]
  勾配降下は、過度に適合せず、明示的な正規化もなく、ディープニューラルネットワークを最適化するのに驚くほど適しています。 我々はImplicit Gradient Regularization (IGR)と呼び、後方誤差解析を用いて正規化のサイズを計算する。
  論文  参考訳（メタデータ） (2020-09-23T14:17:53Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。