論文の概要: GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online
Optimization
- arxiv url: http://arxiv.org/abs/2009.01745v2
- Date: Mon, 10 Jan 2022 09:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 08:17:15.004714
- Title: GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online
Optimization
- Title(参考訳): GTAdam: 分散オンライン最適化のための適応モーメントによるグラディエントトラッキング
- Authors: Guido Carnevale, Francesco Farina, Ivano Notarnicola, Giuseppe
Notarstefano
- Abstract要約: 本稿では,オンライン最適化問題を分散方式で解くことを目的とした,計算機エージェントのネットワークを扱う。
本稿では,適応運動量推定(GTAdam)分散アルゴリズムを用いた勾配追跡手法を提案する。
マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
- 参考スコア(独自算出の注目度): 1.8638865257327277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper deals with a network of computing agents aiming to solve an online
optimization problem in a distributed fashion, i.e., by means of local
computation and communication, without any central coordinator. We propose the
gradient tracking with adaptive momentum estimation (GTAdam) distributed
algorithm, which combines a gradient tracking mechanism with first and second
order momentum estimates of the gradient. The algorithm is analyzed in the
online setting for strongly convex cost functions with Lipschitz continuous
gradients. We provide an upper bound for the dynamic regret given by a term
related to the initial conditions, and another term related to the temporal
variations of the objective functions. Moreover, a linear convergence rate is
guaranteed in the static set-up. The algorithm is tested on a time-varying
classification problem, on a (moving) target localization problem and in a
stochastic optimization setup from image classification. In these numerical
experiments from multi-agent learning, GTAdam outperforms state-of-the-art
distributed optimization methods.
- Abstract(参考訳): 本稿では,オンライン最適化問題,すなわち局所的な計算と通信によって,中央コーディネータを使わずに解くことを目的とした計算エージェントのネットワークについて述べる。
本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。
このアルゴリズムは、リプシッツ連続勾配の強い凸コスト関数のオンライン設定で解析される。
初期条件に関連する項と目的関数の時間的変動に関する別の項によって与えられる動的後悔の上限を与える。
さらに、静的なセットアップでは線形収束率が保証される。
このアルゴリズムは、時間変化の分類問題、(移動)目標位置決め問題、および画像分類から確率最適化設定において試験される。
マルチエージェント学習による数値実験では、gtadamは最先端の分散最適化手法よりも優れている。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive
Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。
これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文 参考訳(メタデータ) (2021-12-30T00:50:30Z) - Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent
Flows [4.817429789586127]
本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。
提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
論文 参考訳(メタデータ) (2021-12-02T16:04:40Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-19T13:19:54Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳(メタデータ) (2021-04-12T13:13:34Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Optimization of Graph Total Variation via Active-Set-based Combinatorial
Reconditioning [48.42916680063503]
本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。
不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。
この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
論文 参考訳(メタデータ) (2020-02-27T16:33:09Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。