論文の概要: Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable

• arxiv url: http://arxiv.org/abs/2503.20117v2
• Date: Tue, 03 Jun 2025 18:32:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 16:24:48.945482
• Title: Exact and Linear Convergence for Federated Learning under Arbitrary Client Participation is Attainable
• Title（参考訳）: 任意顧客参加型フェデレーション学習における厳密性と線形収束性の実現
• Authors: Bicheng Ying, Zhe Li, Haibo Yang,
• Abstract要約: この作業は、フェデレートラーニング(FL)における根本的な課題に取り組む。 一般的なFedAvgスタイルのアルゴリズムが正確な収束に苦しむことは確実である。 FOCUS, Federated Optimization with Exact Convergence through Push-pull Strategy, a Proprovably convergeent algorithm。
• 参考スコア（独自算出の注目度）: 9.870718388000645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work tackles the fundamental challenges in Federated Learning (FL) posed by arbitrary client participation and data heterogeneity, prevalent characteristics in practical FL settings. It is well-established that popular FedAvg-style algorithms struggle with exact convergence and can suffer from slow convergence rates since a decaying learning rate is required to mitigate these scenarios. To address these issues, we introduce the concept of stochastic matrix and the corresponding time-varying graphs as a novel modeling tool to accurately capture the dynamics of arbitrary client participation and the local update procedure. Leveraging this approach, we offer a fresh perspective on designing FL algorithms, provide a rigorous quantitative analysis of the limitations inherent in the FedAvg algorithm, and present FOCUS, Federated Optimization with Exact Convergence via Push-pull Strategy, a provably convergent algorithm designed to effectively overcome the previously mentioned two challenges. More specifically, we provide a rigorous proof demonstrating that FOCUS achieves exact convergence with a linear rate regardless of the arbitrary client participation, establishing it as the first work to demonstrate this significant result.
• Abstract（参考訳）: この研究は、任意のクライアント参加とデータ不均一性によって引き起こされるフェデレートラーニング(FL)の基本的な課題に対処する。 一般的なFedAvgスタイルのアルゴリズムは、正確な収束に苦慮し、これらのシナリオを緩和するために崩壊する学習速度を必要とするため、緩やかな収束率に悩まされることがよく確認されている。 これらの問題に対処するために、任意のクライアント参加とローカル更新手順のダイナミクスを正確に把握する新しいモデリングツールとして、確率行列と対応する時間変化グラフの概念を導入する。 このアプローチを活用することで、FLアルゴリズムの設計に関する新たな視点を提供し、FedAvgアルゴリズムに固有の制約を厳密に定量的に分析し、Push-pull StrategyによるFOCUS、Federated Optimization with Exact Convergenceを提案する。 より具体的には、任意のクライアントの参加にかかわらず、FOCUSが線形レートで正確な収束を達成できることを厳密に証明し、この重要な結果を示す最初の研究として確立する。

関連論文リスト

• Sociodynamics-inspired Adaptive Coalition and Client Selection in Federated Learning [39.58317527488534]
  本稿では,時間的ソーシャルネットワーク上での意見ダイナミクスに着想を得た分散推論アルゴリズムであるショートネーム(Federated Coalition Variance Reduction with Boltzmann Exploration)を紹介する。 実験により、不均一なシナリオでは、我々のアルゴリズムは既存のFLアルゴリズムより優れており、より正確な結果とより高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:04:31Z)
• Personalized Federated Learning under Model Dissimilarity Constraints [8.095373104009868]
  KARULAは、パーソナライズド・フェデレーション・ラーニングのための規則化された戦略であり、分散の違いに基づいて、クライアント間のペアワイズモデルの相違を制約する。 理論上、KARULA は O (1/K) の近傍レート定常点に滑らかで、おそらくは非関係な損失に収束することを示す。 合成および実データ集合上でKARULAを実証し、高度に複雑な相互関係の戦略の有効性を示す。
  論文  参考訳（メタデータ） (2025-05-12T13:54:55Z)
• Federated Smoothing ADMM for Localization [9.25126455172971]
  フェデレートされたシステムは、分散データ、非滑らか性、非滑らか性によって特徴づけられる。 このような環境に固有のスケーラビリティと外乱問題に対処する頑健なアルゴリズムを提案する。 提案アルゴリズムの信頼性を検証するため,定常点に収束することを示す。 数値シミュレーションは、既存の最先端ローカライゼーション法と比較して収束レジリエンスの優れた性能を強調している。
  論文  参考訳（メタデータ） (2025-03-12T16:01:34Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Federated Learning with Dynamic Client Arrival and Departure: Convergence and Rapid Adaptation via Initial Model Construction [24.71144869427636]
  ほとんどのフェデレートされた学習アプローチは、固定されたクライアントセットを前提とします。 現実のシナリオでは、クライアントが特定のタスクに対するニーズや関心に基づいてシステムに参加したり、去ったりすることが多い。 本稿では,クライアントがシステムに参加・離脱するたびに,新しいクライアントセットへの迅速な適応を可能にするアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-08T03:22:14Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
  フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。