論文の概要: Convergence Analysis of Federated Learning Methods Using Backward Error Analysis

• arxiv url: http://arxiv.org/abs/2503.03139v1
• Date: Wed, 05 Mar 2025 03:26:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:01.253005
• Title: Convergence Analysis of Federated Learning Methods Using Backward Error Analysis
• Title（参考訳）: 逆誤差解析を用いたフェデレーション学習手法の収束解析
• Authors: Jinwoo Lim, Suhyun Kim, Soo-Mook Moon,
• Abstract要約: 本稿では,各種フェデレート学習アルゴリズムの暗黙正則化手法を提案する。 暗黙の正則化器がその収束を妨げていることを示す。 同様に、暗黙の正規化器であるFedSAM SCAFFOLDを計算し、それらがよりよく収束する理由を説明する。
• 参考スコア（独自算出の注目度）: 5.954488351438149
• License:
• Abstract: Backward error analysis allows finding a modified loss function, which the parameter updates really follow under the influence of an optimization method. The additional loss terms included in this modified function is called implicit regularizer. In this paper, we attempt to find the implicit regularizer for various federated learning algorithms on non-IID data distribution, and explain why each method shows different convergence behavior. We first show that the implicit regularizer of FedAvg disperses the gradient of each client from the average gradient, thus increasing the gradient variance. We also empirically show that the implicit regularizer hampers its convergence. Similarly, we compute the implicit regularizers of FedSAM and SCAFFOLD, and explain why they converge better. While existing convergence analyses focus on pointing out the advantages of FedSAM and SCAFFOLD, our approach can explain their limitations in complex non-convex settings. In specific, we demonstrate that FedSAM can partially remove the bias in the first-order term of the implicit regularizer in FedAvg, whereas SCAFFOLD can fully eliminate the bias in the first-order term, but not in the second-order term. Consequently, the implicit regularizer can provide a useful insight on the convergence behavior of federated learning from a different theoretical perspective.
• Abstract（参考訳）: 後方エラー解析により、パラメータ更新が実際に従うように修正された損失関数を見つけることができる。 この修正関数に含まれる損失項を暗黙正則化器と呼ぶ。 本稿では,非IIDデータ分布における各種フェデレーション学習アルゴリズムの暗黙正則化手法の探索と,各手法が異なる収束挙動を示す理由を説明する。 まず、FedAvgの暗黙正則化が平均勾配から各クライアントの勾配を分散させ、勾配分散を増大させることを示す。 また、暗黙正則化器がその収束を妨げていることを実証的に示す。 同様に、FedSAMとSCAFFOLDの暗黙正則化器を計算し、それらがよりよく収束する理由を説明する。 既存の収束解析はFedSAMとSCAFFOLDの利点を指摘することに重点を置いているが、我々のアプローチは複雑な非凸設定でそれらの限界を説明することができる。 具体的には、FedSAMがFedAvgの暗黙正則化項の1次項の偏りを部分的に除去できるのに対し、SCAFFOLDは1次項の偏りを完全に排除できるが、2次項では除去できないことを示す。 その結果、暗黙正則化器は、異なる理論的観点からの連合学習の収束挙動に関する有用な洞察を与えることができる。

関連論文リスト

• Continuous-Time Analysis of Federated Averaging [11.955062839855334]
  FedAvgは水平連合学習(FL)の一般的なアルゴリズムで、サンプルは異なるクライアントにまたがって収集され、互いに共有されることはない。 我々はプロセスからのテクニックを用いて、異なる損失関数の下で収束保証を確立する。 また、サーバウェイトに対するFedAvgの更新を通常のランダム変数として近似できる条件も提供します。
  論文  参考訳（メタデータ） (2025-01-31T03:46:10Z)
• A Unified Analysis for Finite Weight Averaging [50.75116992029417]
  Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。 本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
  論文  参考訳（メタデータ） (2024-11-20T10:08:22Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective [49.17352150219212]
  Federated AveragingFedAvg(ローカルSGD)は、Federated Learning(FL)で最も人気のあるアルゴリズムの1つである。 微分方程式(SDE)の観点から、この量を解析する方法を示す。
  論文  参考訳（メタデータ） (2021-11-05T22:16:11Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Linearly Converging Error Compensated SGD [11.436753102510647]
  本稿では、任意の圧縮と遅延更新を伴う分散SGDの変種を統一的に解析する。 我々のフレームワークは、量子化されたSGD、ErrorCompensated SGD、SGDの様々な変種をカバーするのに十分である。 我々は、分散還元や任意のサンプリングと誤りフィードバックと量子化を組み合わせたSGDの新しい変種を開発する。
  論文  参考訳（メタデータ） (2020-10-23T10:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。