論文の概要: An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2104.03535v1
• Date: Thu, 8 Apr 2021 06:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 13:17:52.357921
• Title: An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks
• Title（参考訳）: 生成型adversarial networkの効率的な訓練におけるサンプル混合法の効果に関する実証的研究
• Authors: Makoto Takamoto and Yusuke Morishita
• Abstract要約: 生成敵対ネットワーク(GAN)のトレーニングは、発電機が高品質のサンプルを提供する前に巨大なイテレーションを必要とすることがよく知られています。 本研究では, この問題を緩和するために, 試料混合法であるMixup, CutMix, SRMixの効果を検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It is well-known that training of generative adversarial networks (GANs) requires huge iterations before the generator's providing good-quality samples. Although there are several studies to tackle this problem, there is still no universal solution. In this paper, we investigated the effect of sample mixing methods, that is, Mixup, CutMix, and newly proposed Smoothed Regional Mix (SRMix), to alleviate this problem. The sample-mixing methods are known to enhance the accuracy and robustness in the wide range of classification problems, and can naturally be applicable to GANs because the role of the discriminator can be interpreted as the classification between real and fake samples. We also proposed a new formalism applying the sample-mixing methods to GANs with the saturated losses which do not have a clear "label" of real and fake. We performed a vast amount of numerical experiments using LSUN and CelebA datasets. The results showed that Mixup and SRMix improved the quality of the generated images in terms of FID in most cases, in particular, SRMix showed the best improvement in most cases. Our analysis indicates that the mixed-samples can provide different properties from the vanilla fake samples, and the mixing pattern strongly affects the decision of the discriminators. The generated images of Mixup have good high-level feature but low-level feature is not so impressible. On the other hand, CutMix showed the opposite tendency. Our SRMix showed the middle tendency, that is, showed good high and low level features. We believe that our finding provides a new perspective to accelerate the GANs convergence and improve the quality of generated samples.
• Abstract（参考訳）: 生成的敵ネットワーク(GAN)のトレーニングは、ジェネレータが高品質なサンプルを提供する前に膨大なイテレーションを必要とすることはよく知られている。 この問題にはいくつかの研究があるが、普遍的な解決法はない。 本研究では, 試料混合法, ミックスアップ法, カットミックス法, および新たに提案された平滑化地域混合法 (srmix) が, この問題を緩和する効果について検討した。 試料混合法は幅広い分類問題の精度と堅牢性を高めることが知られており, 判別器の役割は実検体と偽検体の分類として解釈できるため, GANにも自然に適用可能である。 また, サンプル混合法を実物と偽物の明確な「ラベル」を持たない飽和損失を有するGANに適用する新たな定式化も提案した。 我々はLSUNとCelebAデータセットを用いて膨大な数値実験を行った。 その結果,Mix と SRMix は FID の点で画像の品質を向上し,特に SRMix はほとんどのケースで最高の改善を示した。 分析の結果,混合サンプルはバニラ・フェイク・サンプルと異なる特性を呈し,混合パターンは判別者の判断に大きく影響することがわかった。 mixupの生成された画像は高いレベルの機能を持っているが、低レベルの機能はそれほど印象的ではない。 一方,cutmixは逆の傾向を示した。 SRMixでは,中程度の傾向,すなわち,高い,低レベルの特徴が認められた。 我々は,GANの収束を加速し,生成したサンプルの品質を向上させるために,新たな視点を提供すると考えている。

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• AMPLIFY:Attention-based Mixup for Performance Improvement and Label Smoothing in Transformer [2.3072402651280517]
  AMPLIFYはTransformer自体のアテンション機構を使用して、元のサンプルのノイズや異常値が予測結果に与える影響を低減する。 実験の結果,AMPLIFYは計算資源のコストが小さく,テキスト分類作業において他の混合手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-09-22T08:02:45Z)
• Reweighted Mixup for Subpopulation Shift [63.1315456651771]
  サブポピュレーションシフトは、多くの実世界のアプリケーションに存在し、同じサブポピュレーショングループを含むが異なるサブポピュレーション比率を持つトレーニングとテストの分布を指す。 重要度再重み付けは、サブポピュレーションシフトを処理する古典的で効果的な方法である。 我々は、オーバーフィッティング問題を緩和するために、reweighted mixupと呼ばれるシンプルで実用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-09T03:44:50Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• ReSmooth: Detecting and Utilizing OOD Samples when Training with Data Augmentation [57.38418881020046]
  最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。 多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。 ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
  論文  参考訳（メタデータ） (2022-05-25T09:29:27Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• Thompson Sampling with a Mixture Prior [59.211830005673896]
  混合分布から不確実な環境をサンプリングするオンライン意思決定問題において,トンプソンサンプリング(TS)について検討した。 我々は,TSの後悔を先行して解析する,新しい一般的な手法を開発した。
  論文  参考訳（メタデータ） (2021-06-10T09:21:07Z)
• ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
  本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。 特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。 提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
  論文  参考訳（メタデータ） (2021-03-31T06:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。