論文の概要: On the Convergence of Decentralized Adaptive Gradient Methods

• arxiv url: http://arxiv.org/abs/2109.03194v1
• Date: Tue, 7 Sep 2021 16:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 16:05:45.979303
• Title: On the Convergence of Decentralized Adaptive Gradient Methods
• Title（参考訳）: 分散適応勾配法の収束性について
• Authors: Xiangyi Chen, Belhal Karimi, Weijie Zhao, Ping Li
• Abstract要約: 本稿では、新しい収束分散適応勾配法を導入し、適応勾配法を分散訓練手順に厳格に取り入れる。 具体的には,既存の適応勾配法を分散化手法に変換するアルゴリズムフレームワークを提案する。 与えられた適応勾配法が特定の条件下で収束すると、その分散化も収束することを示す。
• 参考スコア（独自算出の注目度）: 27.15543843721437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive gradient methods including Adam, AdaGrad, and their variants have been very successful for training deep learning models, such as neural networks. Meanwhile, given the need for distributed computing, distributed optimization algorithms are rapidly becoming a focal point. With the growth of computing power and the need for using machine learning models on mobile devices, the communication cost of distributed training algorithms needs careful consideration. In this paper, we introduce novel convergent decentralized adaptive gradient methods and rigorously incorporate adaptive gradient methods into decentralized training procedures. Specifically, we propose a general algorithmic framework that can convert existing adaptive gradient methods to their decentralized counterparts. In addition, we thoroughly analyze the convergence behavior of the proposed algorithmic framework and show that if a given adaptive gradient method converges, under some specific conditions, then its decentralized counterpart is also convergent. We illustrate the benefit of our generic decentralized framework on a prototype method, i.e., AMSGrad, both theoretically and numerically.
• Abstract（参考訳）: Adam、AdaGrad、およびそれらの変種を含む適応的な勾配法は、ニューラルネットワークのようなディープラーニングモデルのトレーニングに成功している。 一方、分散コンピューティングの必要性から、分散最適化アルゴリズムは急速に焦点となっている。 コンピューティング能力の増大とモバイルデバイスでの機械学習モデルの使用の必要性により、分散トレーニングアルゴリズムの通信コストは慎重に考慮する必要がある。 本稿では,新しい収束型分散適応勾配法を提案し,適応勾配法を分散学習手順に厳格に組み込む。 具体的には,既存の適応勾配法を分散化法に変換する汎用アルゴリズムフレームワークを提案する。 さらに,提案したアルゴリズムフレームワークの収束挙動を網羅的に解析し,与えられた適応勾配法が特定の条件下で収束した場合,その分散した手法も収束することを示す。 本稿では,AMSGradというプロトタイプ手法による汎用分散フレームワークの利点を理論的にも数値的にも説明する。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• On Accelerating Distributed Convex Optimizations [0.0]
  本稿では,分散マルチエージェント凸最適化問題について検討する。 提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。 実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T13:19:54Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• A general framework for decentralized optimization with first-order methods [11.50057411285458]
  ノードネットワーク上の関数の有限和を最小化する分散最適化は、制御と信号処理の研究において重要な焦点となっている。 高度なコンピューティングと大規模データサイエンスの必要性の出現は、この分野における活動の復活につながった。 本稿では、制御、信号処理、機械学習問題に多大な成功を収めた分散一階勾配法について論じる。
  論文  参考訳（メタデータ） (2020-09-12T17:52:10Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Decentralized MCTS via Learned Teammate Models [89.24858306636816]
  本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。 深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T13:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。