論文の概要: A Lightweight Method for Tackling Unknown Participation Statistics in Federated Averaging

• arxiv url: http://arxiv.org/abs/2306.03401v3
• Date: Mon, 15 Apr 2024 05:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 00:07:07.227864
• Title: A Lightweight Method for Tackling Unknown Participation Statistics in Federated Averaging
• Title（参考訳）: フェデレート平均化における未知参加統計処理の軽量化
• Authors: Shiqiang Wang, Mingyue Ji,
• Abstract要約: フェデレートラーニング(FL)では、クライアントは通常、事前に不明な多様な参加統計を持つ。 我々は、最適重みのオンライン推定に基づいてクライアント更新を適応的に重み付けすることで、FedAvgを改善するFedAUという新しいアルゴリズムを提案する。 我々の理論的結果は、FedAUが元の目的の最適解に収束することを示しながら、重要かつ興味深い洞察を明らかにした。
• 参考スコア（独自算出の注目度）: 39.15781847115902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), clients usually have diverse participation statistics that are unknown a priori, which can significantly harm the performance of FL if not handled properly. Existing works aiming at addressing this problem are usually based on global variance reduction, which requires a substantial amount of additional memory in a multiplicative factor equal to the total number of clients. An important open problem is to find a lightweight method for FL in the presence of clients with unknown participation rates. In this paper, we address this problem by adapting the aggregation weights in federated averaging (FedAvg) based on the participation history of each client. We first show that, with heterogeneous participation statistics, FedAvg with non-optimal aggregation weights can diverge from the optimal solution of the original FL objective, indicating the need of finding optimal aggregation weights. However, it is difficult to compute the optimal weights when the participation statistics are unknown. To address this problem, we present a new algorithm called FedAU, which improves FedAvg by adaptively weighting the client updates based on online estimates of the optimal weights without knowing the statistics of client participation. We provide a theoretical convergence analysis of FedAU using a novel methodology to connect the estimation error and convergence. Our theoretical results reveal important and interesting insights, while showing that FedAU converges to an optimal solution of the original objective and has desirable properties such as linear speedup. Our experimental results also verify the advantage of FedAU over baseline methods with various participation patterns.
• Abstract（参考訳）: フェデレートラーニング(FL)では、クライアントは通常、事前知識が不明な多様な参加統計を持ち、適切に扱わなければFLのパフォーマンスを著しく損なう可能性がある。 この問題に対処する既存の作業は通常、クライアントの総数に匹敵する乗算係数において、かなりの量の追加メモリを必要とする大域的分散削減に基づいている。 重要なオープンな問題は、未知の参加率を持つクライアントの存在下で、FLの軽量な方法を見つけることである。 本稿では、各クライアントの参加履歴に基づいて、フェデレーション平均化(FedAvg)における集約重みを適応させることにより、この問題に対処する。 まず、不均一な参加統計により、非最適集約重み付きFedAvgは、元のFL目標値の最適解から分岐し、最適集約重みを求める必要性を示す。 しかし,参加統計が不明な場合,最適重量を計算することは困難である。 この問題を解決するために、FedAUと呼ばれる新しいアルゴリズムを提案する。これは、クライアント参加の統計を知らずに最適な重みのオンライン推定に基づいてクライアント更新を適応的に重み付けすることで、FedAvgを改善する。 推定誤差と収束率を結合する新しい手法を用いてFedAUの理論的収束解析を行う。 理論的な結果は,FedAUが元の目的の最適解に収束し,線形スピードアップのような望ましい性質を持つことを示す一方で,重要かつ興味深い知見を提示する。 また, 各種参加パターンを用いたベースライン法よりもFedAUの利点を検証した。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
  本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-10-02T03:30:53Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Federated Learning under Heterogeneous and Correlated Client Availability [10.05687757555923]
  本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。 本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。 実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
  論文  参考訳（メタデータ） (2023-01-11T18:38:48Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。