論文の概要: A Systematic Survey of Regularization and Normalization in GANs

• arxiv url: http://arxiv.org/abs/2008.08930v6
• Date: Sat, 8 Oct 2022 14:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 11:42:34.742145
• Title: A Systematic Survey of Regularization and Normalization in GANs
• Title（参考訳）: GANの正規化と正規化に関するシステム調査
• Authors: Ziqiang Li, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
• Abstract要約: GAN(Generative Adversarial Networks)は、ディープニューラルネットワークの開発によって、さまざまなシナリオに広く適用されている。 GANが事前情報なしでターゲット分布に適合できるかどうかはまだ不明である。 正規化と正規化は、訓練を安定させ、差別を改善するために事前情報を導入する一般的な方法である。
• 参考スコア（独自算出の注目度）: 25.188671290175208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Adversarial Networks (GANs) have been widely applied in different scenarios thanks to the development of deep neural networks. The original GAN was proposed based on the non-parametric assumption of the infinite capacity of networks. However, it is still unknown whether GANs can fit the target distribution without any prior information. Due to the overconfident assumption, many issues remain unaddressed in GANs' training, such as non-convergence, mode collapses, gradient vanishing. Regularization and normalization are common methods of introducing prior information to stabilize training and improve discrimination. Although a handful number of regularization and normalization methods have been proposed for GANs, to the best of our knowledge, there exists no comprehensive survey which primarily focuses on objectives and development of these methods, apart from some in-comprehensive and limited scope studies. In this work, we conduct a comprehensive survey on the regularization and normalization techniques from different perspectives of GANs training. First, we systematically describe different perspectives of GANs training and thus obtain the different objectives of regularization and normalization. Based on these objectives, we propose a new taxonomy. Furthermore, we compare the performance of the mainstream methods on different datasets and investigate the applications of regularization and normalization techniques that have been frequently employed in state-of-the-art GANs. Finally, we highlight potential future directions of research in this domain. Code and studies related to the regularization and normalization of GANs in this work is summarized on https://github.com/iceli1007/GANs-Regularization-Review.
• Abstract（参考訳）: 深層ニューラルネットワークの開発により,gans(generative adversarial network)がさまざまなシナリオで広く採用されている。 元のganはネットワークの無限容量の非パラメトリックな仮定に基づいて提案された。 しかし、GANが事前情報なしでターゲット分布に適合できるかどうかは不明である。 自信過剰な仮定のため、非収束性、モード崩壊、勾配消滅など、GANの訓練において多くの問題が未解決のままである。 正規化と正規化は、トレーニングを安定させ、差別を改善するために事前情報を導入する一般的な方法である。 ごく少数の正規化法と正規化法が提案されているが、我々の知る限り、いくつかの包括的・限定的な範囲の研究とは別に、主にこれらの手法の目的と開発に焦点を当てた総合的な調査は存在しない。 本研究では, GANsトレーニングの異なる視点から, 正規化と正規化技術に関する総合的な調査を行う。 まず,gans訓練の異なる視点を体系的に記述し,正規化と正規化の異なる目的を得る。 これらの目的に基づき,新しい分類法を提案する。 さらに,様々なデータセットにおける主流手法の性能を比較検討し,最先端ganによく採用されている正規化および正規化手法の適用について検討した。 最後に,本領域における今後の研究の方向性について述べる。 本研究におけるGANの正規化と正規化に関するコードと研究はhttps://github.com/iceli1007/GANs-Regularization-Reviewにまとめられている。

関連論文リスト

• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Adversarially Adaptive Normalization for Single Domain Generalization [71.80587939738672]
  一般化正規化アプローチ,適応標準化と再スケーリング正規化(ASR-Norm)を提案する。 ASR-Normは、ニューラルネットワークを介して標準化と再スケーリングの統計学を学ぶ。 ASR-Normは最先端のADAアプローチに一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-01T23:58:23Z)
• Sparsity Aware Normalization for GANs [32.76828505875087]
  GAN(Generative adversarial Network)は、トレーニング中の批判的(差別的)ネットワークの正規化または正規化の恩恵を受けることが知られている。 本稿では,一般のスペクトル正規化スキームを分析し,有意な欠点を見つけ,GANトレーニングの安定化のための新たなアプローチであるスパーシャリティ認識正規化(SAN)を導入する。
  論文  参考訳（メタデータ） (2021-03-03T15:05:18Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Regularization Methods for Generative Adversarial Networks: An Overview of Recent Studies [3.829070379776576]
  GAN(Generative Adversarial Network)は、様々なタスクに広く研究され、利用されている。 GANのトレーニングを安定させるために、正規化法が提案されている。
  論文  参考訳（メタデータ） (2020-05-19T01:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。