論文の概要: Assisting the Adversary to Improve GAN Training

• arxiv url: http://arxiv.org/abs/2010.01274v2
• Date: Wed, 9 Dec 2020 00:17:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 08:43:19.508264
• Title: Assisting the Adversary to Improve GAN Training
• Title（参考訳）: GAN訓練改善のための支援
• Authors: Andreas Munk, William Harvey, Frank Wood
• Abstract要約: 我々は,Adversary's Assistant(AdvAs)と呼ぶ,概ね見過ごされた正規化手法を考える。 我々は、理論分析と実践の共通的なミスマッチを考える:分析は、しばしば、各反復において判別器がその最適値に達すると仮定する。 これを解決するため、AdvAsは、判別器を訓練するために使用される勾配のノルムに基づいてジェネレータに課される理論的に動機付けられた罰である。
• 参考スコア（独自算出の注目度）: 13.402254657311506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Some of the most popular methods for improving the stability and performance of GANs involve constraining or regularizing the discriminator. In this paper we consider a largely overlooked regularization technique which we refer to as the Adversary's Assistant (AdvAs). We motivate this using a different perspective to that of prior work. Specifically, we consider a common mismatch between theoretical analysis and practice: analysis often assumes that the discriminator reaches its optimum on each iteration. In practice, this is essentially never true, often leading to poor gradient estimates for the generator. To address this, AdvAs is a theoretically motivated penalty imposed on the generator based on the norm of the gradients used to train the discriminator. This encourages the generator to move towards points where the discriminator is optimal. We demonstrate the effect of applying AdvAs to several GAN objectives, datasets and network architectures. The results indicate a reduction in the mismatch between theory and practice and that AdvAs can lead to improvement of GAN training, as measured by FID scores.
• Abstract（参考訳）: GANの安定性と性能を改善する最も一般的な方法は、差別者の制約や規則化である。 本稿では,Adversary's Assistant (AdvAs) と呼ぶ,概ね見過ごされた正規化手法について考察する。 以前の作業と異なる視点でこれを動機付けています。 具体的には、理論分析と実践の共通ミスマッチを考察する:分析はしばしば、識別器が各イテレーションで最適な結果に達すると仮定する。 実際には、これは本質的には真実ではなく、しばしばジェネレータの勾配推定が劣る。 これを解決するために、AdvAsは、判別器を訓練するために使用される勾配のノルムに基づいてジェネレータに課される理論的に動機付けられた罰である。 これにより、ジェネレータは判別器が最適である点へ移動する。 本稿では,複数のGAN目標,データセット,ネットワークアーキテクチャにAdvAsを適用する効果を示す。 その結果、理論と実践のミスマッチが減少し、AdvAsがFIDスコアによるGANトレーニングの改善につながることが示唆された。

関連論文リスト

• Private GANs, Revisited [16.570354461039603]
  差分的私的GANの訓練における標準的アプローチは,訓練修正後の有意に改善した結果が得られることを示す。 単純な修正 -- ジェネレータステップ間での差別化のステップをより多く取る -- が、ジェネレータと差別化のパリティを回復し、結果を改善することを示しています。
  論文  参考訳（メタデータ） (2023-02-06T17:11:09Z)
• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Re-using Adversarial Mask Discriminators for Test-time Training under Distribution Shifts [10.647970046084916]
  安定判別器の訓練によって表現的損失関数が生成され、推論時に再使用してセグメント化ミスを検出し、修正することができると論じる。 我々は、識別器と画像再構成コストを(デコーダを介して)組み合わせることで、モデルをさらに改善できることを示す。 提案手法は単純で,事前学習したGANの試験時間性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-26T17:31:46Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)
• Exploring DeshuffleGANs in Self-Supervised Generative Adversarial Networks [0.0]
  本稿では,デシャッフルGANを一般化可能な文脈でデシャッフルする自己超越タスクの寄与について検討する。 DeshuffleGANは、他の自己教師型GANと比較して、複数のデータセットに対して最良のFID結果が得られることを示す。 我々は,cDeshuffleGANと呼ばれる条件付きDeshuffleGANを設計し,学習した表現の質を評価する。
  論文  参考訳（メタデータ） (2020-11-03T14:22:54Z)
• Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
  IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。 本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。 我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
  論文  参考訳（メタデータ） (2020-05-21T12:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。