Fugu-MT 論文翻訳(概要): Training Generative Adversarial Networks with Adaptive Composite Gradient

論文の概要: Training Generative Adversarial Networks with Adaptive Composite Gradient

arxiv url: http://arxiv.org/abs/2111.05508v1
Date: Wed, 10 Nov 2021 03:13:53 GMT
ステータス: 処理完了
システム内更新日: 2021-11-11 21:54:14.356528
Title: Training Generative Adversarial Networks with Adaptive Composite Gradient
Title（参考訳）: 適応型複合勾配をもつ生成型逆ネットワークの訓練
Authors: Huiqing Qi, Fang Li, Shengli Tan, Xiangyun Zhang
Abstract要約: 本稿では,二線形ゲームにおいて線形収束する適応型コンポジットグラディエント法を提案する。 ACGは、各ステップの勾配を計算する必要がないため、半漸進的なアルゴリズムである。結果は、ACGが以前のアルゴリズムと競合していることを示している。
参考スコア（独自算出の注目度）: 2.471982349512685
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The wide applications of Generative adversarial networks benefit from the successful training methods, guaranteeing that an object function converges to the local minima. Nevertheless, designing an efficient and competitive training method is still a challenging task due to the cyclic behaviors of some gradient-based ways and the expensive computational cost of these methods based on the Hessian matrix. This paper proposed the adaptive Composite Gradients (ACG) method, linearly convergent in bilinear games under suitable settings. Theory and toy-function experiments suggest that our approach can alleviate the cyclic behaviors and converge faster than recently proposed algorithms. Significantly, the ACG method is not only used to find stable fixed points in bilinear games as well as in general games. The ACG method is a novel semi-gradient-free algorithm since it does not need to calculate the gradient of each step, reducing the computational cost of gradient and Hessian by utilizing the predictive information in future iterations. We conducted two mixture of Gaussians experiments by integrating ACG to existing algorithms with Linear GANs. Results show ACG is competitive with the previous algorithms. Realistic experiments on four prevalent data sets (MNIST, Fashion-MNIST, CIFAR-10, and CelebA) with DCGANs show that our ACG method outperforms several baselines, which illustrates the superiority and efficacy of our method.
Abstract（参考訳）: 生成的敵ネットワークの幅広い応用は、訓練方法の成功の恩恵を受け、対象関数が局所的ミニマに収束することを保証する。それでも、勾配に基づく手法の循環的挙動と、ヘッセン行列に基づくこれらの手法の高価な計算コストにより、効率的かつ競争的な訓練方法の設計は依然として難しい課題である。本稿では,適切な条件下でのバイリニアゲームに線形収束する適応型コンポジットグラディエント(ACG)法を提案する。理論と玩具関数実験は,提案手法が最近提案されているアルゴリズムよりも巡回動作を緩和し,収束を早めることを示唆する。重要なことに、ACG法は双線型ゲームや一般ゲームにおいて安定な固定点を見つけるためにのみ用いられる。 ACG法は、各ステップの勾配を計算する必要がなく、将来のイテレーションで予測情報を利用することで勾配とヘッセンの計算コストを削減するため、新しい半勾配自由アルゴリズムである。 ACGと既存のアルゴリズムを線形GANと組み合わせて2種類のガウス実験を行った。その結果, acgは従来のアルゴリズムと競合することがわかった。 DCGANを用いた4つの定値データセット(MNIST, Fashion-MNIST, CIFAR-10, CelebA)の実測実験により, ACG法はいくつかのベースラインより優れており, 本手法の優位性と有効性を示している。

関連論文リスト

Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Stochastic Average Gradient : A Simple Empirical Investigation [0.0]
平均勾配 (SAG) は有限個の滑らかな関数の和を最適化する手法である。 SAGは、単純な玩具問題において、他のイテレーションよりも早く収束し、単純な機械学習問題において、他の多くのイテレーションよりも優れたパフォーマンスを発揮する。また,運動量アルゴリズムとAdamを組み合わせたSAGを提案する。
論文参考訳（メタデータ） (2023-07-27T17:34:26Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Adapting Step-size: A Unified Perspective to Analyze and Improve Gradient-based Methods for Adversarial Attacks [21.16546620434816]
勾配に基づく逆学習手法の統一的理論的解釈を提供する。これらのアルゴリズムのそれぞれが、実際には、元の勾配法の特定の再構成であることを示す。正規勾配法に基づく適応勾配に基づくアルゴリズムの幅広いクラスを示す。
論文参考訳（メタデータ） (2023-01-27T06:17:51Z)
Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文参考訳（メタデータ） (2021-05-13T04:23:07Z)
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文参考訳（メタデータ） (2021-04-12T13:13:34Z)
A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients [8.202072658184166]
本稿では,量子化勾配を用いた分散GAN学習アルゴリズムDQGANを提案する。この新しい方法は、OMDアルゴリズムと呼ばれる特定の単一マシンアルゴリズムに基づいてGANを訓練し、一般的な$delta$-approximate圧縮器を満たす任意の勾配圧縮手法に適用できる。理論的には、DQGANアルゴリズムの1次定常点への非漸近収束を確立し、提案アルゴリズムが線形高速化を実現することを示す。
論文参考訳（メタデータ） (2020-10-26T06:06:43Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文参考訳（メタデータ） (2020-02-27T16:33:09Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。