論文の概要: Combating Mode Collapse in GAN training: An Empirical Analysis using Hessian Eigenvalues

• arxiv url: http://arxiv.org/abs/2012.09673v1
• Date: Thu, 17 Dec 2020 15:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 15:56:03.908115
• Title: Combating Mode Collapse in GAN training: An Empirical Analysis using Hessian Eigenvalues
• Title（参考訳）: GANトレーニングにおける燃焼モード崩壊:ヘッセン固有値を用いた実証分析
• Authors: Ricard Durall, Avraam Chatzimichailidis, Peter Labus and Janis Keuper
• Abstract要約: generative adversarial networks (gan) は最先端の成果を画像生成に提供します。 非常に強力だが、モード崩壊を克服するアルゴリズムを訓練することは依然として非常に難しい。 モード崩壊はシャープミニマへの収束に関連していることを示す。 特に、$G$のevaluesがモード崩壊の発生に直接関係していることを観察します。
• 参考スコア（独自算出の注目度）: 4.779196219827507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative adversarial networks (GANs) provide state-of-the-art results in image generation. However, despite being so powerful, they still remain very challenging to train. This is in particular caused by their highly non-convex optimization space leading to a number of instabilities. Among them, mode collapse stands out as one of the most daunting ones. This undesirable event occurs when the model can only fit a few modes of the data distribution, while ignoring the majority of them. In this work, we combat mode collapse using second-order gradient information. To do so, we analyse the loss surface through its Hessian eigenvalues, and show that mode collapse is related to the convergence towards sharp minima. In particular, we observe how the eigenvalues of the $G$ are directly correlated with the occurrence of mode collapse. Finally, motivated by these findings, we design a new optimization algorithm called nudged-Adam (NuGAN) that uses spectral information to overcome mode collapse, leading to empirically more stable convergence properties.
• Abstract（参考訳）: generative adversarial networks (gans) は最先端の成果を画像生成に提供します。 しかし、非常に強力であるにもかかわらず、訓練は非常に困難である。 これは特に、非常に非凸な最適化空間が多くの不安定性をもたらすために引き起こされる。 中でもモード崩壊は、最も厄介なもののひとつとして際立っている。 この望ましくないイベントは、モデルがデータ分散のいくつかのモードのみに適合できる場合に発生するが、その大半は無視される。 本研究では,2次勾配情報を用いてモード崩壊と戦う。 そのため、Hessian固有値を通して損失曲面を解析し、モード崩壊が鋭い最小値への収束と関連していることを示す。 特に、$G$の固有値がモード崩壊の発生とどのように直接相関するかを観察する。 最後に,これらの知見に動機づけられて,スペクトル情報を用いてモード崩壊を克服し,経験的により安定な収束特性を実現する,nudged-adam(nugan)と呼ばれる新しい最適化アルゴリズムを設計した。

関連論文リスト

• A Contrastive Variational Graph Auto-Encoder for Node Clustering [10.52321770126932]
  最先端のクラスタリング手法には多くの課題がある。 既存のVGAEは、推論と生成モデルの相違を考慮していない。 私たちのソリューションには、フィーチャーランダムネスとフィーチャードリフトのトレードオフを制御する2つのメカニズムがあります。
  論文  参考訳（メタデータ） (2023-12-28T05:07:57Z)
• Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
  このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
  論文  参考訳（メタデータ） (2023-02-17T19:48:11Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Instability and Local Minima in GAN Training with Kernel Discriminators [20.362912591032636]
  GAN(Generative Adversarial Networks)は、複雑なデータの生成モデリングに広く使われているツールである。 実験的な成功にもかかわらず、ジェネレータと判別器のmin-max最適化のため、GANの訓練は十分には理解されていない。 本稿では、真のサンプルと生成されたサンプルが離散有限集合であり、判別器がカーネルベースである場合に、これらの関節力学を解析する。
  論文  参考訳（メタデータ） (2022-08-21T18:03:06Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Black-Box Diagnosis and Calibration on GAN Intra-Mode Collapse: A Pilot Study [116.05514467222544]
  現在、GAN(Generative Adversarial Network)は驚くべきリアリズムの画像を生成することができる。 懸念の1つは、最先端のGANの学習分布が依然としてモード崩壊に悩まされているかどうかである。 本稿では,GANのモード内崩壊を診断し,新たなブラックボックス設定でそれを校正する方法について検討する。
  論文  参考訳（メタデータ） (2021-07-23T06:03:55Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。