論文の概要: Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples

• arxiv url: http://arxiv.org/abs/2002.06224v4
• Date: Thu, 22 Oct 2020 21:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:14:45.833937
• Title: Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples
• Title（参考訳）: GANのTop-kトレーニング: 悪いサンプルをスローすることでGANのパフォーマンスを向上させる
• Authors: Samarth Sinha, Zhengli Zhao, Anirudh Goyal, Colin Raffel, Augustus Odena
• Abstract要約: GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。 ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。 このトップk更新の手順が一般的に適用可能な改善であることを示す。
• 参考スコア（独自算出の注目度）: 67.11669996924671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a simple (one line of code) modification to the Generative Adversarial Network (GAN) training algorithm that materially improves results with no increase in computational cost: When updating the generator parameters, we simply zero out the gradient contributions from the elements of the batch that the critic scores as `least realistic'. Through experiments on many different GAN variants, we show that this `top-k update' procedure is a generally applicable improvement. In order to understand the nature of the improvement, we conduct extensive analysis on a simple mixture-of-Gaussians dataset and discover several interesting phenomena. Among these is that, when gradient updates are computed using the worst-scoring batch elements, samples can actually be pushed further away from their nearest mode. We also apply our method to recent GAN variants and improve state-of-the-art FID for conditional generation from 9.21 to 8.57 on CIFAR-10.
• Abstract（参考訳）: 生成型敵ネットワーク(gan)のトレーニングアルゴリズムに単純な(一行のコード)修正を導入し、計算コストを増加させることなく結果を大幅に改善する: ジェネレータパラメータを更新するとき、批評家が'least real'と評するバッチの要素から勾配寄与をゼロにする。 様々な GAN 変種の実験を通して、この 'top-k update' 手順が一般的に適用可能な改善であることを示す。 改良の性質を理解するため,ガウシアン混合データセットの広範な解析を行い,いくつかの興味深い現象を発見する。 中でも、最悪のスコーリングバッチ要素を使用して勾配更新が計算されると、サンプルを最も近いモードから押し出すことができる。 また,本手法を最近のGAN変種に適用し,CIFAR-10における条件付きFIDを9.21から8.57に改善する。

関連論文リスト

• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Linear Speedup of Incremental Aggregated Gradient Methods on Streaming Data [38.54333970135826]
  本稿では,大規模分散最適化のためのインクリメンタル・アグリゲード・グラデーション(IAG)方式について考察する。 ストリーミングIAG法は,作業者が頻繁な更新を行う場合の線形高速化を実現する。
  論文  参考訳（メタデータ） (2023-09-10T10:08:52Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• When are Iterative Gaussian Processes Reliably Accurate? [38.523693700243975]
  ランツォス分解は高度に正確な点予測を伴うスケーラブルなガウス過程推論を達成している。 CG耐性,プレコンディショナーランク,およびLaczos分解ランクについて検討した。 本稿では,LGS-BFB が反復型 GP にとって魅力的であり,より少ない更新で収束を達成することを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:02:18Z)
• TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation [79.4205462326301]
  TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。 オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。 これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
  論文  参考訳（メタデータ） (2020-11-27T02:26:15Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。