論文の概要: FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning

• arxiv url: http://arxiv.org/abs/2402.13989v3
• Date: Wed, 31 Jul 2024 17:55:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 20:25:13.786609
• Title: FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
• Title（参考訳）: FedADMM-InSa: フェデレートラーニングのための非現実的で自己適応型ADMM
• Authors: Yongcun Song, Ziqi Wang, Enrique Zuazua,
• Abstract要約: 我々はFedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。 結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。 提案アルゴリズムは,クライアントの局所的な計算負荷を大幅に低減し,バニラFedADMMと比較して学習プロセスを高速化する。
• 参考スコア（独自算出の注目度）: 1.802525429431034
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) is a promising framework for learning from distributed data while maintaining privacy. The development of efficient FL algorithms encounters various challenges, including heterogeneous data and systems, limited communication capacities, and constrained local computational resources. Recently developed FedADMM methods show great resilience to both data and system heterogeneity. However, they still suffer from performance deterioration if the hyperparameters are not carefully tuned. To address this issue, we propose an inexact and self-adaptive FedADMM algorithm, termed FedADMM-InSa. First, we design an inexactness criterion for the clients' local updates to eliminate the need for empirically setting the local training accuracy. This inexactness criterion can be assessed by each client independently based on its unique condition, thereby reducing the local computational cost and mitigating the undesirable straggle effect. The convergence of the resulting inexact ADMM is proved under the assumption of strongly convex loss functions. Additionally, we present a self-adaptive scheme that dynamically adjusts each client's penalty parameter, enhancing algorithm robustness by mitigating the need for empirical penalty parameter choices for each client. Extensive numerical experiments on both synthetic and real-world datasets are conducted. As validated by some numerical tests, our proposed algorithm can reduce the clients' local computational load significantly and also accelerate the learning process compared to the vanilla FedADMM.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを維持しながら分散データから学習するための有望なフレームワークである。 効率的なFLアルゴリズムの開発は、異種データやシステム、限られた通信能力、制約のあるローカル計算資源など、様々な課題に直面している。 最近開発されたFedADMM法は、データとシステムの不均一性の両方に優れたレジリエンスを示す。 しかし、ハイパーパラメータを慎重に調整しなければ、パフォーマンスの劣化に悩まされる。 この問題に対処するため,FedADMM-InSaと呼ばれる不正確な自己適応型FedADMMアルゴリズムを提案する。 まず、クライアントのローカル更新に対する不正確な基準を設計し、ローカルトレーニングの精度を実証的に設定する必要をなくす。 この不正確な基準は、そのユニークな条件に基づいて各クライアントによって独立に評価することができ、それによって局所的な計算コストを低減し、望ましくないトラグル効果を軽減できる。 結果の不正確なADMMの収束は、強い凸損失関数の仮定の下で証明される。 さらに,各クライアントのペナルティパラメータを動的に調整し,各クライアントに対する経験的ペナルティパラメータの選択の必要性を軽減し,アルゴリズムの堅牢性を向上する自己適応型スキームを提案する。 合成と実世界の両方のデータセットに関する大規模な数値実験を行った。 いくつかの数値実験で検証されているように、提案アルゴリズムはクライアントの局所的な計算負荷を大幅に削減し、また、バニラFedADMMと比較して学習プロセスを高速化することができる。

関連論文リスト

• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Mobilizing Personalized Federated Learning in Infrastructure-Less and Heterogeneous Environments via Random Walk Stochastic ADMM [0.14597673707346284]
  本稿では,データヘテロジニティを持つ孤立ノードを特徴とする実践シナリオにおいて,フェデレートラーニング(FL)を実装する上での課題について考察する。 これらの課題を克服するために,モビリティとレジリエンスの促進を目的とした,パーソナライズされたFLアプローチを提案する。 我々はRWSADMM(Random Walk Alternating Direction Method of Multipliers)と呼ばれる新しい最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-04-25T03:00:18Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• FedADMM: A Federated Primal-Dual Algorithm Allowing Partial Participation [3.7677951749356686]
  特に、クライアントサーバのブロードキャストモデルに従っており、特にクライアントの計算とストレージに対応する能力に魅力があります。 我々の貢献は、非滑らかな複合問題を解くための新しいフェデレート学習アルゴリズムであるFedADMMを提供することである。
  論文  参考訳（メタデータ） (2022-03-28T21:20:43Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。