論文の概要: FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
- arxiv url: http://arxiv.org/abs/2402.13989v1
- Date: Wed, 21 Feb 2024 18:19:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 14:21:29.503928
- Title: FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
- Title(参考訳): FedADMM-InSa: フェデレートラーニングのための非現実的で自己適応型ADMM
- Authors: Yongcun Song, Ziqi Wang, Enrique Zuazua
- Abstract要約: 我々はFedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。
結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。
提案アルゴリズムは,クライアントの局所的な計算負荷を大幅に低減し,バニラFedADMMと比較して学習プロセスを高速化する。
- 参考スコア(独自算出の注目度): 2.025857942828171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a promising framework for learning from
distributed data while maintaining privacy. The development of efficient FL
algorithms encounters various challenges, including heterogeneous data and
systems, limited communication capacities, and constrained local computational
resources. Recently developed FedADMM methods show great resilience to both
data and system heterogeneity. However, they still suffer from performance
deterioration if the hyperparameters are not carefully tuned. To address this
issue, we propose an inexact and self-adaptive FedADMM algorithm, termed
FedADMM-InSa. First, we design an inexactness criterion for the clients' local
updates to eliminate the need for empirically setting the local training
accuracy. This inexactness criterion can be assessed by each client
independently based on its unique condition, thereby reducing the local
computational cost and mitigating the undesirable straggle effect. The
convergence of the resulting inexact ADMM is proved under the assumption of
strongly convex loss functions. Additionally, we present a self-adaptive scheme
that dynamically adjusts each client's penalty parameter, enhancing algorithm
robustness by mitigating the need for empirical penalty parameter choices for
each client. Extensive numerical experiments on both synthetic and real-world
datasets are conducted. As validated by some numerical tests, our proposed
algorithm can reduce the clients' local computational load significantly and
also accelerate the learning process compared to the vanilla FedADMM.
- Abstract(参考訳): federated learning(fl)は、プライバシを維持しながら分散データから学習するための有望なフレームワークである。
効率的なflアルゴリズムの開発は、異種データやシステム、限られた通信能力、制約のある局所計算資源など、様々な課題に直面する。
最近開発されたFedADMM法は、データとシステムの不均一性の両方に優れたレジリエンスを示す。
しかし、ハイパーパラメータを慎重に調整しなければ、パフォーマンスの劣化に悩まされる。
この問題に対処するため,FedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。
まず、クライアントのローカル更新に対する不正確な基準を設計し、ローカルトレーニングの精度を実証的に設定する必要をなくす。
この不正確性基準は、その特異な条件に基づいて各クライアントによって独立に評価され、局所的な計算コストを低減し、望ましくないストラグル効果を緩和することができる。
結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。
さらに,各クライアントのペナルティパラメータを動的に調整し,各クライアントに対する経験的ペナルティパラメータ選択の必要性を軽減し,アルゴリズムの頑健性を高める自己適応スキームを提案する。
合成データと実世界のデータセットの両方について広範な数値実験を行った。
いくつかの数値実験で検証されているように、提案アルゴリズムはクライアントの局所的な計算負荷を大幅に削減し、また、バニラFedADMMと比較して学習プロセスを高速化することができる。
関連論文リスト
- Privacy-preserving Federated Primal-dual Learning for Non-convex and
Non-smooth Problems with Model Sparsification [54.767648945613004]
フェデレートラーニング(FL)は急速に成長している分野として認識されている。
パラメータの非平滑性と非共有性は、FLアプリケーションで一般的である。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Mobilizing Personalized Federated Learning in Infrastructure-Less and
Heterogeneous Environments via Random Walk Stochastic ADMM [0.14597673707346284]
本稿では,データヘテロジニティを持つ孤立ノードを特徴とする実践シナリオにおいて,フェデレートラーニング(FL)を実装する上での課題について考察する。
これらの課題を克服するために,モビリティとレジリエンスの促進を目的とした,パーソナライズされたFLアプローチを提案する。
我々はRWSADMM(Random Walk Alternating Direction Method of Multipliers)と呼ばれる新しい最適化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-04-25T03:00:18Z) - Adaptive Federated Learning via New Entropy Approach [21.835561630042314]
フェデレートラーニング(FL)は、リソース制約のあるクライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的に学習することを可能にする。
異種クライアントの機器とデータのばらつきの違いにより、局所モデル間のパラメータ偏差が生じる。
本稿では,エントロピー理論に基づく適応学習率スキームを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - FedADMM: A Federated Primal-Dual Algorithm Allowing Partial
Participation [3.7677951749356686]
特に、クライアントサーバのブロードキャストモデルに従っており、特にクライアントの計算とストレージに対応する能力に魅力があります。
我々の貢献は、非滑らかな複合問題を解くための新しいフェデレート学習アルゴリズムであるFedADMMを提供することである。
論文 参考訳(メタデータ) (2022-03-28T21:20:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。