論文の概要: Penalty Gradient Normalization for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2306.13576v1
• Date: Fri, 23 Jun 2023 15:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 12:19:16.224595
• Title: Penalty Gradient Normalization for Generative Adversarial Networks
• Title（参考訳）: 逆数生成ネットワークに対するペナルティ勾配正規化
• Authors: Tian Xia
• Abstract要約: 本稿では,GAN(Generative Adversarial Networks)のトレーニング不安定性に対処するために,PGN(Perperty gradient normalization)と呼ばれる新しい正規化手法を提案する。 3つのデータセットに対する大規模な実験により、GANがペナルティ勾配正規化で訓練された場合、Frechet InceptionとDistanceとInception Scoreの両方の点で既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.23584867406755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel normalization method called penalty gradient normalization (PGN) to tackle the training instability of Generative Adversarial Networks (GANs) caused by the sharp gradient space. Unlike existing work such as gradient penalty and spectral normalization, the proposed PGN only imposes a penalty gradient norm constraint on the discriminator function, which increases the capacity of the discriminator. Moreover, the proposed penalty gradient normalization can be applied to different GAN architectures with little modification. Extensive experiments on three datasets show that GANs trained with penalty gradient normalization outperform existing methods in terms of both Frechet Inception and Distance and Inception Score.
• Abstract（参考訳）: 本稿では,鋭い勾配空間に起因する生成逆ネットワーク(gans)のトレーニング不安定性に取り組むため,pgnと呼ばれる新しい正規化法を提案する。 勾配ペナルティやスペクトル正規化のような既存の研究とは異なり、提案されたPGNは、判別器関数にペナルティ勾配ノルム制約のみを課し、判別器の容量を増大させる。 さらに、提案したペナルティ勾配正規化は、変更の少ない異なる異なるGANアーキテクチャに適用することができる。 3つのデータセットに対する大規模な実験により、GANがペナルティ勾配正規化で訓練された場合、Frechet InceptionとDistanceとInception Scoreの両方の点で既存の手法よりも優れていることが示された。

関連論文リスト

• Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers [2.1415873597974286]
  比例勾配ノルムは、最小分散で勾配雑音スケール(GNS)を推定するための重要な要素である。 本稿では,パラメータ勾配を計算しながら基準を同時に計算することで,3次元あるいはそれ以上のテンソル状態におけるFLOPを最小化する手法を提案する。 現代変圧器モデルの総 GNS は正規化層のみの GNS によりよく予測されている。
  論文  参考訳（メタデータ） (2024-11-01T19:50:00Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction [36.83448475700536]
  正規化層(例えば、バッチ正規化、レイヤ正規化)は、非常に深い網における最適化の難しさを支援するために導入された。 本稿では,正規化が損失面のシャープネスを低減するためにGDを促進することを示唆する数学的解析と実験を行う。
  論文  参考訳（メタデータ） (2022-06-14T18:19:05Z)
• Gradient Normalization for Generative Adversarial Networks [12.647937973078362]
  本稿では,GAN(Generative Adversarial Networks)のトレーニング不安定性に対処するために,勾配正規化(GN)と呼ばれる新しい正規化手法を提案する。 提案したGNは、判別器関数にハードな1-Lipschitz制約を課すだけで、判別器の容量を増大させる。 4つのデータセットの実験では、勾配正規化で訓練されたGANが、Frechet Inception DistanceとInception Scoreの両方の観点から既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-06T04:01:38Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Implicit Gradient Regularization [18.391141066502644]
  勾配降下は、過度に適合せず、明示的な正規化もなく、ディープニューラルネットワークを最適化するのに驚くほど適しています。 我々はImplicit Gradient Regularization (IGR)と呼び、後方誤差解析を用いて正規化のサイズを計算する。
  論文  参考訳（メタデータ） (2020-09-23T14:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。