論文の概要: Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable

• arxiv url: http://arxiv.org/abs/2503.20117v2
• Date: Tue, 03 Jun 2025 18:32:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 16:24:48.945482
• Title: Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable
• Title（参考訳）: 任意顧客参加型フェデレーション学習における厳密性と線形収束性の実現
• Authors: Bicheng Ying, Zhe Li, Haibo Yang,
• Abstract要約: この作業は、フェデレートラーニング(FL)における根本的な課題に取り組む。 一般的なFedAvgスタイルのアルゴリズムが正確な収束に苦しむことは確実である。 FOCUS, Federated Optimization with Exact Convergence through Push-pull Strategy, a Proprovably convergeent algorithm。
• 参考スコア（独自算出の注目度）: 9.870718388000645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work tackles the fundamental challenges in Federated Learning (FL) posed by arbitrary client participation and data heterogeneity, prevalent characteristics in practical FL settings. It is well-established that popular FedAvg-style algorithms struggle with exact convergence and can suffer from slow convergence rates since a decaying learning rate is required to mitigate these scenarios. To address these issues, we introduce the concept of stochastic matrix and the corresponding time-varying graphs as a novel modeling tool to accurately capture the dynamics of arbitrary client participation and the local update procedure. Leveraging this approach, we offer a fresh perspective on designing FL algorithms, provide a rigorous quantitative analysis of the limitations inherent in the FedAvg algorithm, and present FOCUS, Federated Optimization with Exact Convergence via Push-pull Strategy, a provably convergent algorithm designed to effectively overcome the previously mentioned two challenges. More specifically, we provide a rigorous proof demonstrating that FOCUS achieves exact convergence with a linear rate regardless of the arbitrary client participation, establishing it as the first work to demonstrate this significant result.
• Abstract（参考訳）: この研究は、任意のクライアント参加とデータ不均一性によって引き起こされるフェデレートラーニング(FL)の基本的な課題に対処する。 一般的なFedAvgスタイルのアルゴリズムは、正確な収束に苦慮し、これらのシナリオを緩和するために崩壊する学習速度を必要とするため、緩やかな収束率に悩まされることがよく確認されている。 これらの問題に対処するために、任意のクライアント参加とローカル更新手順のダイナミクスを正確に把握する新しいモデリングツールとして、確率行列と対応する時間変化グラフの概念を導入する。 このアプローチを活用することで、FLアルゴリズムの設計に関する新たな視点を提供し、FedAvgアルゴリズムに固有の制約を厳密に定量的に分析し、Push-pull StrategyによるFOCUS、Federated Optimization with Exact Convergenceを提案する。 より具体的には、任意のクライアントの参加にかかわらず、FOCUSが線形レートで正確な収束を達成できることを厳密に証明し、この重要な結果を示す最初の研究として確立する。

関連論文リスト

• Federated Smoothing ADMM for Localization [9.25126455172971]
  フェデレートされたシステムは、分散データ、非滑らか性、非滑らか性によって特徴づけられる。 このような環境に固有のスケーラビリティと外乱問題に対処する頑健なアルゴリズムを提案する。 提案アルゴリズムの信頼性を検証するため,定常点に収束することを示す。 数値シミュレーションは、既存の最先端ローカライゼーション法と比較して収束レジリエンスの優れた性能を強調している。
  論文  参考訳（メタデータ） (2025-03-12T16:01:34Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
  フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。