論文の概要: Training GANs with predictive projection centripetal acceleration

• arxiv url: http://arxiv.org/abs/2010.03322v2
• Date: Thu, 8 Oct 2020 17:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:44:19.355846
• Title: Training GANs with predictive projection centripetal acceleration
• Title（参考訳）: 予測投影遠心加速度によるGANの訓練
• Authors: Li Keke and Zhang Ke and Liu Qiang and Yang Xinmin
• Abstract要約: 勾配降下上昇(PPCA)を用いた新しい非凹面min-maxゲームを提案する。 t + 1 の符号付きベクトル偏微分と t の符号付きベクトル偏微分との差が GDA の符号付きベクトル偏微分と、バイレートゲームにおける最後の指数であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although remarkable successful in practice, training generative adversarial networks(GANs) is still quite difficult and iteratively prone to cyclic behaviors, as GANs need to solve a non-convex non-concave min-max game using a gradient descent ascent (GDA) method. Motivated by the ideas of simultaneous centripetal acceleration (SCA) and modified predictive methods (MPM), we propose a novel predictive projection centripetal acceleration (PPCA) methods to alleviate the cyclic behaviors. Besides, under suitable assumptions, we show that the difference between the signed vector of partial derivatives at t + 1 and t is orthogonal to the signed vector of partial derivatives at t for GDA, and the last-iterate exponential convergence on the bilinear game. Finally, numerical simulations are conducted by PPCA in GANs setting, and the results illustrate the effectiveness of our approach.
• Abstract（参考訳）: 実際に顕著に成功したが、GANは勾配降下上昇法(GDA)を用いて非凸なmin-maxゲームを解決する必要があるため、GAN(generative adversarial network)の訓練は依然として非常に困難であり、循環的行動が反復的に起こる。 同時遠心加速度 (SCA) と修正予測法 (MPM) のアイデアに触発され, 周期的挙動を緩和する新しい予測予測遠心加速度 (PPCA) 法を提案する。 さらに,適切な仮定の下では,t + 1 における部分微分の符号付きベクトルと gda の t における部分微分の符号付きベクトルとの差と,双線型ゲーム上の最後の文字付き指数収束との差を示す。 最後に, GAN設定におけるPPCAによる数値シミュレーションを行い, 本手法の有効性を示した。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
  PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。 このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
  論文  参考訳（メタデータ） (2023-05-30T17:31:25Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Computational Complexity of Sub-linear Convergent Algorithms [0.0]
  小サンプルから始めて幾何的に拡大し、前のサンプルの解を用いて新しいEMMを計算する方法について検討する。 これにより、線形収束の1次最適化アルゴリズムの問題を解決するが、計算の複雑さは小さくなる。
  論文  参考訳（メタデータ） (2022-09-29T05:38:06Z)
• Training Generative Adversarial Networks with Adaptive Composite Gradient [2.471982349512685]
  本稿では,二線形ゲームにおいて線形収束する適応型コンポジットグラディエント法を提案する。 ACGは、各ステップの勾配を計算する必要がないため、半漸進的なアルゴリズムである。 結果は、ACGが以前のアルゴリズムと競合していることを示している。
  論文  参考訳（メタデータ） (2021-11-10T03:13:53Z)
• On the Convergence of Prior-Guided Zeroth-Order Optimization Algorithms [33.96864594479152]
  我々は、様々な勾配推定器を用いたグリーディ降下フレームワークの下で、事前誘導ZOアルゴリズムの収束を解析する。 また、先行情報と収束解析を組み込んだ新しい高速化ランダムサーチ(ARS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-21T14:39:40Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。