論文の概要: A method for escaping limit cycles in training GANs
- arxiv url: http://arxiv.org/abs/2010.03322v3
- Date: Fri, 11 Aug 2023 16:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 18:21:03.313228
- Title: A method for escaping limit cycles in training GANs
- Title(参考訳): GAN訓練における限界サイクルの回避法
- Authors: Li Keke and Yang Xinmin
- Abstract要約: まず,一般双線型ゲームにおけるPCAAの最終点収束率の上下境界を導出する。
次に,PCAAと適応モーメント推定アルゴリズム(Adam)を組み合わせることで,GANを訓練するための実践的アプローチであるPCAA-Adamを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper mainly conducts further research to alleviate the issue of limit
cycling behavior in training generative adversarial networks (GANs) through the
proposed predictive centripetal acceleration algorithm (PCAA). Specifically, we
first derive the upper and lower bounds on the last-iterate convergence rates
of PCAA for the general bilinear game, with the upper bound notably improving
upon previous results. Then, we combine PCAA with the adaptive moment
estimation algorithm (Adam) to propose PCAA-Adam, a practical approach for
training GANs. Finally, we validate the effectiveness of the proposed algorithm
through experiments conducted on bilinear games, multivariate Gaussian
distributions, and the CelebA dataset, respectively.
- Abstract(参考訳): 本稿では,提案する予測遠心加速度アルゴリズム(pcaa)を用いて,gans(generative adversarial network)におけるリミティブサイクリングの問題を緩和するための研究を主に実施する。
具体的には,まず,PCAAの最終点収束率の上限と下限を導出し,上限は前回の結果より顕著に改善した。
次に,PCAAと適応モーメント推定アルゴリズム(Adam)を組み合わせることで,GANを訓練するための実践的アプローチであるPCAA-Adamを提案する。
最後に,両線形ゲーム,多変量ガウス分布,CelebAデータセットを用いて提案アルゴリズムの有効性を検証する。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。
Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。
オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
論文 参考訳(メタデータ) (2022-12-29T18:25:01Z) - Computational Complexity of Sub-linear Convergent Algorithms [0.0]
小サンプルから始めて幾何的に拡大し、前のサンプルの解を用いて新しいEMMを計算する方法について検討する。
これにより、線形収束の1次最適化アルゴリズムの問題を解決するが、計算の複雑さは小さくなる。
論文 参考訳(メタデータ) (2022-09-29T05:38:06Z) - Direct Mutation and Crossover in Genetic Algorithms Applied to
Reinforcement Learning Tasks [0.9137554315375919]
本稿では、遺伝的アルゴリズム(GA)を用いて神経進化を適用し、最適な行動エージェントを生成するニューラルネットワークの重みを見つけることに焦点を当てる。
本稿では,データ効率と収束速度を初期実装と比較して改善する2つの新しい修正法を提案する。
論文 参考訳(メタデータ) (2022-01-13T07:19:28Z) - Training Generative Adversarial Networks with Adaptive Composite
Gradient [2.471982349512685]
本稿では,二線形ゲームにおいて線形収束する適応型コンポジットグラディエント法を提案する。
ACGは、各ステップの勾配を計算する必要がないため、半漸進的なアルゴリズムである。
結果は、ACGが以前のアルゴリズムと競合していることを示している。
論文 参考訳(メタデータ) (2021-11-10T03:13:53Z) - On the Convergence of Prior-Guided Zeroth-Order Optimization Algorithms [33.96864594479152]
我々は、様々な勾配推定器を用いたグリーディ降下フレームワークの下で、事前誘導ZOアルゴリズムの収束を解析する。
また、先行情報と収束解析を組み込んだ新しい高速化ランダムサーチ(ARS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-07-21T14:39:40Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳(メタデータ) (2021-06-08T15:54:44Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-23T04:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。