論文の概要: Flooding Regularization for Stable Training of Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2311.00318v1
• Date: Wed, 1 Nov 2023 06:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 14:29:54.988485
• Title: Flooding Regularization for Stable Training of Generative Adversarial Networks
• Title（参考訳）: 生成逆ネットワークの安定トレーニングのための洪水正規化
• Authors: Iu Yahiro, Takashi Ishida, Naoto Yokoya
• Abstract要約: 我々は,洪水がGAN訓練を安定させ,他の安定化技術と組み合わせることができることを実験的に検証した。 また, 差別者の損失をフラッドレベル以下に抑えることにより, フラッドレベルがある程度高い場合でも, トレーニングは安定的に進行することを明らかにした。
• 参考スコア（独自算出の注目度）: 16.38915684198396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have shown remarkable performance in image generation. However, GAN training suffers from the problem of instability. One of the main approaches to address this problem is to modify the loss function, often using regularization terms in addition to changing the type of adversarial losses. This paper focuses on directly regularizing the adversarial loss function. We propose a method that applies flooding, an overfitting suppression method in supervised learning, to GANs to directly prevent the discriminator's loss from becoming excessively low. Flooding requires tuning the flood level, but when applied to GANs, we propose that the appropriate range of flood level settings is determined by the adversarial loss function, supported by theoretical analysis of GANs using the binary cross entropy loss. We experimentally verify that flooding stabilizes GAN training and can be combined with other stabilization techniques. We also reveal that by restricting the discriminator's loss to be no greater than flood level, the training proceeds stably even when the flood level is somewhat high.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は画像生成において顕著な性能を示した。 しかし、gan訓練は不安定な問題に苦しむ。 この問題に対処する主要なアプローチの1つは、損失関数を変更することであり、しばしば正規化項を使い、逆損失の種類を変える。 本稿では,逆損失関数を直接正則化することに焦点を当てる。 本稿では,教師付き学習における過度な抑制手法であるフラッディングをGANに適用し,差別者の損失が過度に低くなるのを防ぐ方法を提案する。 洪水は洪水レベルを調整する必要があるが, GANに適用した場合, 対向的損失関数によって適切な範囲の洪水レベル設定が決定され, バイナリクロスエントロピー損失を用いたGANの理論的解析が支持される。 我々は,洪水がGAN訓練を安定させ,他の安定化技術と組み合わせることができることを実験的に検証した。 また, 判別器の損失を洪水レベルに制限することにより, 洪水レベルがやや高い場合でも, 訓練は安定的に進行することを明らかにした。

関連論文リスト

• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Soft ascent-descent as a stable and flexible alternative to flooding [6.527016551650139]
  我々は,軟化・ポイントワイド機構であるSoftADを提案する。この機構は,降水量と降水量の影響を制限し,洪水の上昇・昇華効果を維持できる。 我々は,より小さな損失一般化ギャップとモデル規範を享受しながら,浸水と競合する分類精度をSoftADが実現できることを実証する。
  論文  参考訳（メタデータ） (2023-10-16T02:02:56Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data [13.50061291734299]
  本稿では,既存のGANに付加可能なDigGAN(DigGAN)の定式化を提案する。 DigGANは既存のGANを強化し、判別器の予測 w.r.t. 実画像と生成されたサンプル w.r.t. の勾配のノルムのギャップを狭める。 この定式化は,GANロスランドスケープ内の悪い引き込みを回避し,限られたデータが得られる場合に,GANトレーニングの結果を大幅に改善するDigGANを見出した。
  論文  参考訳（メタデータ） (2022-11-27T01:03:58Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。