論文の概要: On the Performance of Gradient Tracking with Local Updates

• arxiv url: http://arxiv.org/abs/2210.04757v2
• Date: Thu, 13 Oct 2022 00:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 11:37:54.037894
• Title: On the Performance of Gradient Tracking with Local Updates
• Title（参考訳）: 局所更新による勾配追従性能について
• Authors: Edward Duc Hien Nguyen and Sulaiman A. Alghunaim and Kun Yuan and C\'esar A. Uribe
• Abstract要約: LU-GTは通信品質は同じであるが、任意のネットワークトポロジが可能であることを示す。 数値的な例では、局所的な更新は特定のレシエーションにおける通信コストを低下させる可能性がある。
• 参考スコア（独自算出の注目度）: 10.14746251086461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the decentralized optimization problem where a network of $n$ agents seeks to minimize the average of a set of heterogeneous non-convex cost functions distributedly. State-of-the-art decentralized algorithms like Exact Diffusion~(ED) and Gradient Tracking~(GT) involve communicating every iteration. However, communication is expensive, resource intensive, and slow. In this work, we analyze a locally updated GT method (LU-GT), where agents perform local recursions before interacting with their neighbors. While local updates have been shown to reduce communication overhead in practice, their theoretical influence has not been fully characterized. We show LU-GT has the same communication complexity as the Federated Learning setting but allows arbitrary network topologies. In addition, we prove that the number of local updates does not degrade the quality of the solution achieved by LU-GT. Numerical examples reveal that local updates can lower communication costs in certain regimes (e.g., well-connected graphs).
• Abstract（参考訳）: n$エージェントのネットワークが不均一な非凸コスト関数の集合の平均を分散的に最小化しようとする分散最適化問題について検討する。 Exact Diffusion~(ED)やGradient Tracking~(GT)のような最先端の分散アルゴリズムでは、イテレーション毎に通信が行われる。 しかし、コミュニケーションは高価で、リソース集約的で、遅い。 本研究では,局所的に更新されたGT法(LU-GT)を分析し,エージェントが隣人と対話する前に局所再帰を行う。 ローカルアップデートは、実際には通信のオーバーヘッドを減らすことが示されているが、その理論的な影響は完全には特徴づけられていない。 LU-GTはフェデレートラーニング設定と同じ通信複雑性を持つが、任意のネットワークトポロジが可能であることを示す。 さらに,LU-GTによって達成されたソリューションの品質は,ローカル更新数によって低下しないことを示す。 数値的な例から、ローカル更新によって特定のレジーム(例えば well-connected graph)における通信コストが削減されることがわかる。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• The Effectiveness of Local Updates for Decentralized Learning under Data Heterogeneity [2.845817138242963]
  DGT(Decentralized Gradient Tracking)とDGD(Decentralized Gradient Descent)の2つの基本的な分散最適化手法を再検討する。 K > 1$ ローカル更新のステップを組み込むことで通信の複雑さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-03-23T00:01:34Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Decentralized Gradient Tracking with Local Steps [37.41185751866015]
  GT(Gradient Tracking)は、ネットワーク上の分散最適化問題を解決するために設計されたアルゴリズムである。 GTの重要な特徴は、ノード間の不均一性を克服するトラッキングメカニズムである。
  論文  参考訳（メタデータ） (2023-01-03T19:06:41Z)
• A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning [1.713291434132985]
  GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。 全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。 我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
  論文  参考訳（メタデータ） (2022-06-02T16:31:16Z)
• The Role of Local Steps in Local SGD [2.3572498744567123]
  我々は,$n$エージェントが局所関数の和から与えられる大域関数を求める分散最適化問題を考察する。 本研究では,ローカルSGDの通信複雑性の収束状態に及ぼす効果について検討する。
  論文  参考訳（メタデータ） (2022-03-14T00:54:43Z)
• Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
  ローカル手法は通信時間を短縮する有望なアプローチの1つである。 局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-12T15:12:17Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• Distributed Q-Learning with State Tracking for Multi-agent Networked Control [61.63442612938345]
  本稿では,LQR(Linear Quadratic Regulator)のマルチエージェントネットワークにおける分散Q-ラーニングについて検討する。 エージェントに最適なコントローラを設計するための状態追跡(ST)ベースのQ-ラーニングアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-12-22T22:03:49Z)
• Communication-efficient Decentralized Local SGD over Undirected Networks [2.3572498744567123]
  我々は、$n$エージェントのネットワークがグローバル関数$F$を最小化しようとする分散学習問題を考察する。 通信ラウンド数と各エージェントの計算労力のトレードオフを分析する。 その結果,R=Omega(n)$通信ラウンドのみを用いることで,O(1/nT)$というスケールの誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2020-11-06T09:34:00Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。