論文の概要: From Interpretation to Correction: A Decentralized Optimization Framework for Exact Convergence in Federated Learning

• arxiv url: http://arxiv.org/abs/2503.20117v1
• Date: Tue, 25 Mar 2025 23:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:19:42.675371
• Title: From Interpretation to Correction: A Decentralized Optimization Framework for Exact Convergence in Federated Learning
• Title（参考訳）: 解釈から訂正へ:フェデレーション学習における厳密な収束のための分散最適化フレームワーク
• Authors: Bicheng Ying, Zhe Li, Haibo Yang,
• Abstract要約: この研究は、任意のクライアント参加とデータの異質性によって引き起こされるバイアスを修正するための、新しい分散フレームワークを導入している。 我々は、任意の参加とデータ不均一性がFedAvgの収束点に与える影響を定量化するための簡潔な分析を提供することができる。 この洞察は、Push-pull Strategy (FOCUS)による厳密な収束を伴うフェデレーション最適化の開発を動機付けている。
• 参考スコア（独自算出の注目度）: 9.870718388000645
• License:
• Abstract: This work introduces a novel decentralized framework to interpret federated learning (FL) and, consequently, correct the biases introduced by arbitrary client participation and data heterogeneity, which are two typical traits in practical FL. Specifically, we first reformulate the core processes of FedAvg - client participation, local updating, and model aggregation - as stochastic matrix multiplications. This reformulation allows us to interpret FedAvg as a decentralized algorithm. Leveraging the decentralized optimization framework, we are able to provide a concise analysis to quantify the impact of arbitrary client participation and data heterogeneity on FedAvg's convergence point. This insight motivates the development of Federated Optimization with Exact Convergence via Push-pull Strategy (FOCUS), a novel algorithm inspired by the decentralized algorithm that eliminates these biases and achieves exact convergence without requiring the bounded heterogeneity assumption. Furthermore, we theoretically prove that FOCUS exhibits linear convergence (exponential decay) for both strongly convex and non-convex functions satisfying the Polyak-Lojasiewicz condition, regardless of the arbitrary nature of client participation.
• Abstract（参考訳）: 本研究は,フェデレーション学習(FL)を解釈する新たな分散フレームワークを導入し,クライアントの任意の参加とデータ不均一性によるバイアスを補正する。 具体的には,FedAvgのコアプロセス – クライアント参加,ローカル更新,モデル集約 – を確率行列乗算として,まず最初に再構築する。 この改定により、FedAvgを分散アルゴリズムとして解釈できる。 分散最適化フレームワークを活用することで、任意のクライアント参加とデータ不均一性がFedAvgの収束点に与える影響を定量化するための簡潔な分析を提供することができます。 この洞察は、これらのバイアスを排除し、有界な不均一性仮定を必要とせずに正確な収束を達成する、分散化されたアルゴリズムにインスパイアされた新しいアルゴリズムであるPush-pull Strategy (FOCUS) によるFederated Optimization with Exact Convergenceの開発を動機付けている。 さらに、FOCUSは、クライアント参加の任意の性質にかかわらず、ポリャク・ロジャシエヴィチ条件を満たす強凸関数と非凸関数の両方に対して線形収束(指数減衰)を示すことを理論的に証明する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
  フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• On the Convergence of Heterogeneous Federated Learning with Arbitrary Adaptive Online Model Pruning [15.300983585090794]
  任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。 特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。 コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
  論文  参考訳（メタデータ） (2022-01-27T20:43:38Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。