論文の概要: A Lightweight Method for Tackling Unknown Participation Probabilities in Federated Averaging

• arxiv url: http://arxiv.org/abs/2306.03401v1
• Date: Tue, 6 Jun 2023 04:32:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:22:01.340211
• Title: A Lightweight Method for Tackling Unknown Participation Probabilities in Federated Averaging
• Title（参考訳）: 連帯平均化における未知の参加確率に取り組む軽量手法
• Authors: Shiqiang Wang, Mingyue Ji
• Abstract要約: フェデレートラーニング(FL)では、クライアントは通常、先駆者不明の多様な参加確率を持つ。 我々は、最適重みのオンライン推定に基づいてクライアント更新を適応的に重み付けすることで、FedAvgを改善するFedAUという新しいアルゴリズムを提案する。 我々の理論的結果は、FedAUが元の目的の最適解に収束することを示しながら、重要かつ興味深い洞察を明らかにした。
• 参考スコア（独自算出の注目度）: 33.86606068136201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), clients usually have diverse participation probabilities that are unknown a priori, which can significantly harm the performance of FL if not handled properly. Existing works aiming at addressing this problem are usually based on global variance reduction, which requires a substantial amount of additional memory in a multiplicative factor equal to the total number of clients. An important open problem is to find a lightweight method for FL in the presence of clients with unknown participation rates. In this paper, we address this problem by adapting the aggregation weights in federated averaging (FedAvg) based on the participation history of each client. We first show that, with heterogeneous participation probabilities, FedAvg with non-optimal aggregation weights can diverge from the optimal solution of the original FL objective, indicating the need of finding optimal aggregation weights. However, it is difficult to compute the optimal weights when the participation probabilities are unknown. To address this problem, we present a new algorithm called FedAU, which improves FedAvg by adaptively weighting the client updates based on online estimates of the optimal weights without knowing the probabilities of client participation. We provide a theoretical convergence analysis of FedAU using a novel methodology to connect the estimation error and convergence. Our theoretical results reveal important and interesting insights, while showing that FedAU converges to an optimal solution of the original objective and has desirable properties such as linear speedup. Our experimental results also verify the advantage of FedAU over baseline methods.
• Abstract（参考訳）: フェデレートラーニング(FL)では、クライアントは通常、事前知識のない多様な参加確率を持ち、適切に扱わなければFLのパフォーマンスを著しく損なう可能性がある。 この問題に対処する既存の作業は通常、クライアントの総数に匹敵する乗算係数において、かなりの量の追加メモリを必要とするグローバルな分散削減に基づいている。 重要なオープンな問題は、未参加率のクライアントの存在下でFLの軽量な方法を見つけることである。 本稿では、各クライアントの参加履歴に基づいて、フェデレーション平均化(FedAvg)における集約重みを適応させることにより、この問題に対処する。 まず,不均質な参加確率により,非最適凝集重み付きフェダブグが元のfl目標の最適解から逸脱し,最適凝集重みを求める必要性が示された。 しかし,参加確率が不明な場合,最適重量を計算することは困難である。 そこで本研究では,最適重みのオンライン推定に基づいてクライアント更新を適応的に重み付けすることにより,クライアント参加の確率を知らずにfedabgを改善するfedaという新しいアルゴリズムを提案する。 推定誤差と収束率を結合する新しい手法を用いてFedAUの理論的収束解析を行う。 理論的な結果は,FedAUが元の目的の最適解に収束し,線形スピードアップなどの望ましい性質を持つことを示す一方で,重要かつ興味深い知見を提示する。 また,ベースライン法よりもFedAUの利点を検証した。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Debiasing Federated Learning with Correlated Client Participation [25.521881752822164]
  本稿では,FLのクライアント参加をマルコフ連鎖としてモデル化する理論的枠組みを紹介する。 すべてのクライアントは、再参加する前に最低限の$R$ラウンド(最小分離)を待たなければならない。 我々は、不偏の最適解に確実に収束するFedAvgの効果的な脱バイアスアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2024-10-02T03:30:53Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Federated Learning under Heterogeneous and Correlated Client Availability [10.05687757555923]
  本稿では,FedAvg-like FLアルゴリズムに対する不均一かつ相関のあるクライアント可用性下での最初の収束解析について述べる。 本稿では,収束速度の最大化とモデルバイアスの最小化という相反する目標のバランスをとろうとする新しいFLアルゴリズムCA-Fedを提案する。 実験の結果,CA-Fedは最先端のAdaFedやF3ASTよりも時間平均精度が高く,標準偏差も低いことがわかった。
  論文  参考訳（メタデータ） (2023-01-11T18:38:48Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。