論文の概要: Combating Mode Collapse in GANs via Manifold Entropy Estimation

• arxiv url: http://arxiv.org/abs/2208.12055v6
• Date: Sat, 8 Apr 2023 11:03:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 23:35:27.327752
• Title: Combating Mode Collapse in GANs via Manifold Entropy Estimation
• Title（参考訳）: マニフォールドエントロピー推定によるGANの圧縮モード崩壊
• Authors: Haozhe Liu, Bing Li, Haoqian Wu, Hanbang Liang, Yawen Huang, Yuexiang Li, Bernard Ghanem, Yefeng Zheng
• Abstract要約: Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 70.06639443446545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks (GANs) have shown compelling results in various tasks and applications in recent years. However, mode collapse remains a critical problem in GANs. In this paper, we propose a novel training pipeline to address the mode collapse issue of GANs. Different from existing methods, we propose to generalize the discriminator as feature embedding and maximize the entropy of distributions in the embedding space learned by the discriminator. Specifically, two regularization terms, i.e., Deep Local Linear Embedding (DLLE) and Deep Isometric feature Mapping (DIsoMap), are designed to encourage the discriminator to learn the structural information embedded in the data, such that the embedding space learned by the discriminator can be well-formed. Based on the well-learned embedding space supported by the discriminator, a non-parametric entropy estimator is designed to efficiently maximize the entropy of embedding vectors, playing as an approximation of maximizing the entropy of the generated distribution. By improving the discriminator and maximizing the distance of the most similar samples in the embedding space, our pipeline effectively reduces the mode collapse without sacrificing the quality of generated samples. Extensive experimental results show the effectiveness of our method, which outperforms the GAN baseline, MaF-GAN on CelebA (9.13 vs. 12.43 in FID) and surpasses the recent state-of-the-art energy-based model on the ANIME-FACE dataset (2.80 vs. 2.26 in Inception score). The code is available at https://github.com/HaozheLiu-ST/MEE
• Abstract（参考訳）: generative adversarial networks (gans) は近年、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 しかし、モード崩壊はGANにとって重要な問題である。 本稿では,gansのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。 既存の手法と異なり,判別器を特徴埋め込みとして一般化し,判別器が学習する埋め込み空間における分布のエントロピーを最大化する。 具体的には、Dep Local Linear Embedding (DLLE) とDeep Isometric Feature Mapping (DIsoMap) という2つの正規化用語は、識別者がデータに埋め込まれた構造情報を学習するよう促すことを目的としている。 判別器が支持するよく学習された埋め込み空間に基づいて、非パラメトリックエントロピー推定器は、埋め込みベクトルのエントロピーを効率的に最大化し、生成した分布のエントロピーを最大化する近似として機能する。 識別器の改良と埋め込み空間における最も類似した試料の距離の最大化により, 生成した試料の品質を犠牲にすることなく, 効果的にモード崩壊を低減することができる。 CelebA(FIDでは9.13 vs. 12.43)でGANベースラインのMaF-GANを上回り、ANIME-FACEデータセット(インセプションスコアでは2.80 vs. 2.26)で最新の最先端エネルギーベースモデルを上回った。 コードはhttps://github.com/haozheliu-st/meeで入手できる。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Elastic Interaction Energy-Based Generative Model: Approximation in Feature Space [14.783344918500813]
  弾性相互作用エネルギー(EIE)に基づく損失関数を用いた生成モデリングの新しい手法を提案する。 EIEに基づく計量の利用は、分布のグローバルな情報を考慮した長距離特性など、いくつかの利点を示す。 MNIST、FashionMNIST、CIFAR-10、CelebAなどの一般的なデータセットに対する実験結果から、EIEG GANモデルがモード崩壊を緩和し、安定性を向上し、モデル性能を向上させることを示した。
  論文  参考訳（メタデータ） (2023-03-19T03:39:31Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling [106.68533003806276]
  本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。 判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
  論文  参考訳（メタデータ） (2020-03-12T23:33:50Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。