論文の概要: Continuous-Time Analysis of Federated Averaging

• arxiv url: http://arxiv.org/abs/2501.18870v1
• Date: Fri, 31 Jan 2025 03:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:57:51.495980
• Title: Continuous-Time Analysis of Federated Averaging
• Title（参考訳）: フェデレート平均化の連続時間解析
• Authors: Tom Overman, Diego Klabjan,
• Abstract要約: FedAvgは水平連合学習(FL)の一般的なアルゴリズムで、サンプルは異なるクライアントにまたがって収集され、互いに共有されることはない。 我々はプロセスからのテクニックを用いて、異なる損失関数の下で収束保証を確立する。 また、サーバウェイトに対するFedAvgの更新を通常のランダム変数として近似できる条件も提供します。
• 参考スコア（独自算出の注目度）: 11.955062839855334
• License:
• Abstract: Federated averaging (FedAvg) is a popular algorithm for horizontal federated learning (FL), where samples are gathered across different clients and are not shared with each other or a central server. Extensive convergence analysis of FedAvg exists for the discrete iteration setting, guaranteeing convergence for a range of loss functions and varying levels of data heterogeneity. We extend this analysis to the continuous-time setting where the global weights evolve according to a multivariate stochastic differential equation (SDE), which is the first time FedAvg has been studied from the continuous-time perspective. We use techniques from stochastic processes to establish convergence guarantees under different loss functions, some of which are more general than existing work in the discrete setting. We also provide conditions for which FedAvg updates to the server weights can be approximated as normal random variables. Finally, we use the continuous-time formulation to reveal generalization properties of FedAvg.
• Abstract（参考訳）: フェデレーション平均化(FedAvg)は水平的フェデレーション学習(FL)のための一般的なアルゴリズムであり、サンプルは異なるクライアントにまたがって収集され、互いに共有されることはない。 FedAvgの大規模な収束解析は離散的な反復設定のために存在し、様々な損失関数と様々なレベルのデータの不均一性に対する収束を保証する。 我々はこの解析を,多変量確率微分方程式 (SDE) に従って大域的重みが進化する連続時間設定にまで拡張し,FedAvgが連続時間の観点から初めて研究された。 我々は確率過程の手法を用いて、異なる損失関数の下で収束保証を確立する。 また、サーバウェイトに対するFedAvgの更新を通常のランダム変数として近似できる条件も提供します。 最後に、連続時間定式化を用いて、FedAvgの一般化特性を明らかにする。

関連論文リスト

• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• A General Theory for Federated Optimization with Asynchronous and Heterogeneous Clients Updates [10.609815608017065]
  我々は、クライアント更新時間の変動を表すために集約重みを導入し、標準のFedAvgアグリゲーションスキームを拡張した。 私たちのフォーマリズムは、クライアントが不均一なデータセットを持ち、少なくとも1ステップの勾配降下を行う、一般的な連邦設定に適用されます。 我々は,FedAvgの新たな拡張であるFedFixを開発し,同期アグリゲーションの収束安定性を維持しつつ,効率的な非同期フェデレーショントレーニングを実現する。
  論文  参考訳（メタデータ） (2022-06-21T08:46:05Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。