論文の概要: Sample weighting as an explanation for mode collapse in generative adversarial networks

• arxiv url: http://arxiv.org/abs/2010.02035v1
• Date: Mon, 5 Oct 2020 14:13:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:47:48.511945
• Title: Sample weighting as an explanation for mode collapse in generative adversarial networks
• Title（参考訳）: 生成的対向ネットワークにおけるモード崩壊の説明としてのサンプル重み付け
• Authors: Aksel Wilhelm Wold Eide, Eilif Solberg, Ingebj{\o}rg K{\aa}sen
• Abstract要約: NS-GANはジェネレータのサンプル重み付けを反転させ、パラメータを更新する際、強調をハイスコアからロースコアにシフトさせる。 本研究はNS-GANがモード降下する傾向にあることを示す理論と実験結果の両方を提示する。 我々は,MM-GANのサンプル重み付けを,MM-GANのミニバッチ勾配を再スケーリングすることで飽和を回避しつつ保存するMM-nsatを設計する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks were introduced with a logistic MiniMax cost formulation, which normally fails to train due to saturation, and a Non-Saturating reformulation. While addressing the saturation problem, NS-GAN also inverts the generator's sample weighting, implicitly shifting emphasis from higher-scoring to lower-scoring samples when updating parameters. We present both theory and empirical results suggesting that this makes NS-GAN prone to mode dropping. We design MM-nsat, which preserves MM-GAN sample weighting while avoiding saturation by rescaling the MM-GAN minibatch gradient such that its magnitude approximates NS-GAN's gradient magnitude. MM-nsat has qualitatively different training dynamics, and on MNIST and CIFAR-10 it is stronger in terms of mode coverage, stability and FID. While the empirical results for MM-nsat are promising and favorable also in comparison with the LS-GAN and Hinge-GAN formulations, our main contribution is to show how and why NS-GAN's sample weighting causes mode dropping and training collapse.
• Abstract（参考訳）: 生成的逆ネットワークはロジスティックなミニマックスコストの定式化によって導入されたが、それは通常飽和のために訓練に失敗する。 飽和問題に対処する一方で、ns-ganはジェネレータのサンプル重み付けを反転させ、パラメータ更新時の高スケーリングから低スケーリングへの強調を暗黙的にシフトさせる。 本研究はNS-GANがモード降下する傾向にあることを示す理論と実験結果の両方を提示する。 我々は,MM-GANサンプルの重み付けを,MM-GANミニバッチ勾配を再スケーリングすることで飽和を回避しつつ保存するMM-nsatを設計する。 mm-nsat は定性的に異なるトレーニングダイナミクスを持ち、mnist と cifar-10 ではモードカバレッジ、安定性、fid の点で強い。 MM-nsatの試験結果はLS-GANとHinge-GANの定式化と比較して有望で好ましいが、NS-GANの試料重み付けがモード低下やトレーニングの崩壊を引き起こす理由と理由を示すことが主な貢献である。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
  本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。 本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-07-04T16:27:06Z)
• A new perspective on probabilistic image modeling [92.89846887298852]
  本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。 DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。 本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
  論文  参考訳（メタデータ） (2022-03-21T14:53:57Z)
• Score-Based Generative Modeling with Critically-Damped Langevin Diffusion [18.82116696636531]
  現在のスコアベース生成モデル(SGM)は、データを徐々にトラクタブルな分布へとゆがめる拡散過程に依存している。 我々は、現在のSGMが過度に単純化された拡散を導入し、不要に複雑な分極過程をもたらすことを論じる。 そこで我々は,CLDに基づくSGMが優れた性能を発揮することを示すために,CLD(Critical-damped Langevin diffusion)を提案する。
  論文  参考訳（メタデータ） (2021-12-14T00:01:34Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Adversarial score matching and improved sampling for image generation [29.27890359191544]
  Denoising Score Matching with Annealed Langevin Smpling (DSM-ALS)は、最近、生成モデリングで成功している。 本稿では,Freche の Inception Distance において,GAN (Generative Adversarial Networks) よりも高い性能を示すことを示す。 DSM-ALSの2つの改良点を提案する: 1) 一貫性のあるアンナーレサンプリングは, より安定なアンナーレランジェヴィンサンプリングの代替品として, 2) ハイブリットトレーニングの定式化である。
  論文  参考訳（メタデータ） (2020-09-11T14:49:53Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。