論文の概要: Taming GANs with Lookahead-Minmax

• arxiv url: http://arxiv.org/abs/2006.14567v3
• Date: Wed, 23 Jun 2021 17:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:23:43.517400
• Title: Taming GANs with Lookahead-Minmax
• Title（参考訳）: Lookahead-MinmaxによるGANの処理
• Authors: Tatjana Chavdarova, Matteo Pagliardini, Sebastian U. Stich, Francois Fleuret, Martin Jaggi
• Abstract要約: MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。 30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
• 参考スコア（独自算出の注目度）: 63.90038365274479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative Adversarial Networks are notoriously challenging to train. The underlying minmax optimization is highly susceptible to the variance of the stochastic gradient and the rotational component of the associated game vector field. To tackle these challenges, we propose the Lookahead algorithm for minmax optimization, originally developed for single objective minimization only. The backtracking step of our Lookahead-minmax naturally handles the rotational game dynamics, a property which was identified to be key for enabling gradient ascent descent methods to converge on challenging examples often analyzed in the literature. Moreover, it implicitly handles high variance without using large mini-batches, known to be essential for reaching state of the art performance. Experimental results on MNIST, SVHN, CIFAR-10, and ImageNet demonstrate a clear advantage of combining Lookahead-minmax with Adam or extragradient, in terms of performance and improved stability, for negligible memory and computational cost. Using 30-fold fewer parameters and 16-fold smaller minibatches we outperform the reported performance of the class-dependent BigGAN on CIFAR-10 by obtaining FID of 12.19 without using the class labels, bringing state-of-the-art GAN training within reach of common computational resources.
• Abstract（参考訳）: ジェネレーティブ・Adversarial Networksはトレーニングが難しいことで有名だ。 基礎となるminmax最適化は、確率勾配と関連するゲームベクトル場の回転成分の分散に非常に影響を受けやすい。 これらの課題に取り組むため,我々は,単一目的最小化専用に開発されたminmax最適化のためのlookaheadアルゴリズムを提案する。 Lookahead-minmaxのバックトラックステップは自然に回転ゲームダイナミクスを処理します。この特性は、文献でしばしば分析される挑戦的な例に基づいて勾配上昇降下法を収束させる鍵であると考えられていました。 さらに、大きなミニバッチを使用せずに、暗黙のうちに高い分散を処理する。 mnist、svhn、cifar-10、imagenetの実験結果は、性能と安定性の向上、メモリと計算コストの面で、lookahead-minmaxとadamまたはextragradientを組み合わせるという明確な利点を示している。 CIFAR-10のクラス依存型BigGANでは,30倍のパラメータと16倍のミニバッチを用いることで,クラスラベルを使わずに12.19のFIDを取得し,一般的な計算資源の範囲内で最先端のGANトレーニングを行う。

関連論文リスト

• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Structured Directional Pruning via Perturbation Orthogonal Projection [13.704348351073147]
  より合理的なアプローチは、NISTによって発見された平坦な最小の谷に沿ってスパース最小化器を見つけることである。 平坦な最小の谷に摂動を投射する構造的指向性プルーニングを提案する。 実験の結果,VGG16では93.97%,CIFAR-10タスクでは再トレーニングを行なわず,最先端のプルーニング精度が得られた。
  論文  参考訳（メタデータ） (2021-07-12T11:35:47Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Sparse Attention with Linear Units [60.399814410157425]
  本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。 我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。 分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-14T17:52:38Z)
• Direct-Search for a Class of Stochastic Min-Max Problems [0.0]
  オラクルを通してのみ対象物にアクセスする導関数探索法について検討する。 この手法の収束性は軽微な仮定で証明する。 私達の分析は設定のminmax目的のための直接調査方法の収束に取り組む最初のものです。
  論文  参考訳（メタデータ） (2021-02-22T22:23:58Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)
• Avoiding local minima in variational quantum eigensolvers with the natural gradient optimizer [0.0]
  変分量子固有解法(VQEs)の文脈におけるBFGS,ADAM,NatGradの比較 本稿では, 横フィールドイジングモデル(TFIM)のQAOAアンサッツと, ハミルトニアンの対称性を破ることのできる過パラメータ回路の性能について解析する。
  論文  参考訳（メタデータ） (2020-04-30T10:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。