Fugu-MT 論文翻訳(概要): A method for escaping limit cycles in training GANs

論文の概要: A method for escaping limit cycles in training GANs

arxiv url: http://arxiv.org/abs/2010.03322v3
Date: Fri, 11 Aug 2023 16:28:40 GMT
ステータス: 処理完了
システム内更新日: 2023-08-14 18:21:03.313228
Title: A method for escaping limit cycles in training GANs
Title（参考訳）: GAN訓練における限界サイクルの回避法
Authors: Li Keke and Yang Xinmin
Abstract要約: まず,一般双線型ゲームにおけるPCAAの最終点収束率の上下境界を導出する。次に,PCAAと適応モーメント推定アルゴリズム(Adam)を組み合わせることで,GANを訓練するための実践的アプローチであるPCAA-Adamを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper mainly conducts further research to alleviate the issue of limit cycling behavior in training generative adversarial networks (GANs) through the proposed predictive centripetal acceleration algorithm (PCAA). Specifically, we first derive the upper and lower bounds on the last-iterate convergence rates of PCAA for the general bilinear game, with the upper bound notably improving upon previous results. Then, we combine PCAA with the adaptive moment estimation algorithm (Adam) to propose PCAA-Adam, a practical approach for training GANs. Finally, we validate the effectiveness of the proposed algorithm through experiments conducted on bilinear games, multivariate Gaussian distributions, and the CelebA dataset, respectively.
Abstract（参考訳）: 本稿では,提案する予測遠心加速度アルゴリズム(pcaa)を用いて,gans(generative adversarial network)におけるリミティブサイクリングの問題を緩和するための研究を主に実施する。具体的には,まず,PCAAの最終点収束率の上限と下限を導出し,上限は前回の結果より顕著に改善した。次に,PCAAと適応モーメント推定アルゴリズム(Adam)を組み合わせることで,GANを訓練するための実践的アプローチであるPCAA-Adamを提案する。最後に,両線形ゲーム,多変量ガウス分布,CelebAデータセットを用いて提案アルゴリズムの有効性を検証する。

関連論文リスト

Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
論文参考訳（メタデータ） (2023-05-30T17:31:25Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Federated Compositional Deep AUC Maximization [58.25078060952361]
本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
論文参考訳（メタデータ） (2023-04-20T05:49:41Z)
Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文参考訳（メタデータ） (2023-02-24T10:32:30Z)
Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
論文参考訳（メタデータ） (2022-12-29T18:25:01Z)
Computational Complexity of Sub-linear Convergent Algorithms [0.0]
小サンプルから始めて幾何的に拡大し、前のサンプルの解を用いて新しいEMMを計算する方法について検討する。これにより、線形収束の1次最適化アルゴリズムの問題を解決するが、計算の複雑さは小さくなる。
論文参考訳（メタデータ） (2022-09-29T05:38:06Z)
Training Generative Adversarial Networks with Adaptive Composite Gradient [2.471982349512685]
本稿では,二線形ゲームにおいて線形収束する適応型コンポジットグラディエント法を提案する。 ACGは、各ステップの勾配を計算する必要がないため、半漸進的なアルゴリズムである。結果は、ACGが以前のアルゴリズムと競合していることを示している。
論文参考訳（メタデータ） (2021-11-10T03:13:53Z)
On the Convergence of Prior-Guided Zeroth-Order Optimization Algorithms [33.96864594479152]
我々は、様々な勾配推定器を用いたグリーディ降下フレームワークの下で、事前誘導ZOアルゴリズムの収束を解析する。また、先行情報と収束解析を組み込んだ新しい高速化ランダムサーチ(ARS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-07-21T14:39:40Z)
Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-23T04:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。