論文の概要: Accelerated WGAN update strategy with loss change rate balancing
- arxiv url: http://arxiv.org/abs/2008.12463v2
- Date: Tue, 3 Nov 2020 01:45:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 01:56:06.980753
- Title: Accelerated WGAN update strategy with loss change rate balancing
- Title(参考訳): 損失変化率バランスを考慮したWGAN更新戦略の高速化
- Authors: Xu Ouyang, Gady Agam
- Abstract要約: We propose a new update strategy for Wasserstein GANs (WGAN) and other GANs using the WGAN loss。
提案手法は収束速度と精度の両方を改善することを実証する。
- 参考スコア(独自算出の注目度): 2.436681150766912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing the discriminator in Generative Adversarial Networks (GANs) to
completion in the inner training loop is computationally prohibitive, and on
finite datasets would result in overfitting. To address this, a common update
strategy is to alternate between k optimization steps for the discriminator D
and one optimization step for the generator G. This strategy is repeated in
various GAN algorithms where k is selected empirically. In this paper, we show
that this update strategy is not optimal in terms of accuracy and convergence
speed, and propose a new update strategy for Wasserstein GANs (WGAN) and other
GANs using the WGAN loss(e.g. WGAN-GP, Deblur GAN, and Super-resolution GAN).
The proposed update strategy is based on a loss change ratio comparison of G
and D. We demonstrate that the proposed strategy improves both convergence
speed and accuracy.
- Abstract(参考訳): generative adversarial networks (gans) における判別器の最適化は、内部トレーニングループの完了を計算的に禁止し、有限データセットでは過剰に適合する。
これに対処するために、一般的な更新戦略は、判別器dのk最適化ステップとジェネレータgの1つの最適化ステップとを交互に行うことである。
本稿では,この更新戦略が精度と収束速度において最適ではないことを示すとともに,WGAN損失(WGAN-GP,Deblur GAN,Super- resolution GAN)を用いたWasserstein GAN(WGAN)や他のGANの更新戦略を提案する。
提案する更新戦略は,gとdの損失変化比比較に基づいており,提案手法が収束速度と精度の両方を改善することを実証する。
関連論文リスト
- GE-AdvGAN: Improving the transferability of adversarial samples by
gradient editing-based adversarial generative model [69.71629949747884]
GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。
本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-11T16:43:16Z) - An Invariant Information Geometric Method for High-Dimensional Online
Optimization [9.538618632613714]
本稿では,対応するフレームワークから派生した,完全な不変性指向進化戦略アルゴリズムを提案する。
ベイズ最適化と進化戦略における主要なアルゴリズムに対してSynCMAをベンチマークする。
あらゆるシナリオにおいて、SynCMAはサンプル効率において他のアルゴリズムよりも優れた能力を示す。
論文 参考訳(メタデータ) (2024-01-03T07:06:26Z) - Adaptive Reconvergence-driven AIG Rewriting via Strategy Learning [7.269586271846072]
書き換えは、回路の性能、パワー、面積を改善することを目的とした論理合成における一般的な手順である。
本稿では2つの重要な手法を組み合わせた適応的再収束駆動型AIG書き換えアルゴリズムを提案する。
実験の結果,提案手法は5.567%,5.327%の精度向上を達成できた。
論文 参考訳(メタデータ) (2023-12-22T09:03:33Z) - Signal Processing Meets SGD: From Momentum to Filter [3.8065968624597324]
ディープラーニングでは、勾配降下(SGD)とその運動量に基づく変種が最適化アルゴリズムで広く使われている。
既存の適応学習率の変種は収束を加速するが、しばしば一般化能力を犠牲にする。
本稿では,SGDの収束速度を一般化の損失なく高速化することを目的とした新しい最適化手法を提案する。
論文 参考訳(メタデータ) (2023-11-06T01:41:46Z) - Advancements in Optimization: Adaptive Differential Evolution with
Diversification Strategy [0.0]
この研究は2次元空間において単目的最適化を採用し、複数の反復で各ベンチマーク関数上でADEDSを実行する。
ADEDSは、多くの局所最適化、プレート型、谷型、伸縮型、ノイズの多い機能を含む様々な最適化課題において、標準Dより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-02T10:05:41Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳(メタデータ) (2023-07-02T18:16:06Z) - Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。
2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
論文 参考訳(メタデータ) (2023-06-30T14:19:44Z) - Herder Ants: Ant Colony Optimization with Aphids for Discrete
Event-Triggered Dynamic Optimization Problems [0.0]
現在利用可能なAnt Colony Optimization (ACO)アルゴリズムの動的最適化戦略は、各動的変化が発生した後、遅いアルゴリズム収束またはソリューション品質に対する重大なペナルティのトレードオフを提供する。
本稿では,アリとアフィドの共生関係をモデルとしたAphidsを用いたAnt Colony Optimization (ACO) という離散的動的最適化手法を提案する。
論文 参考訳(メタデータ) (2023-04-15T22:21:41Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳(メタデータ) (2021-10-18T06:14:28Z) - Bregman Gradient Policy Optimization [97.73041344738117]
本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。
VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
論文 参考訳(メタデータ) (2021-06-23T01:08:54Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳(メタデータ) (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。