論文の概要: Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework

• arxiv url: http://arxiv.org/abs/2212.01519v1
• Date: Sat, 3 Dec 2022 03:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 18:00:15.860219
• Title: Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
• Title（参考訳）: ADMMを超えて: クライアント分散を再現した適応的フェデレーション学習フレームワーク
• Authors: Shuai Wang, Yanqing Xu, Zhiguo Wang, Tsung-Hui Chang, Tony Q. S. Quek, and Defeng Sun
• Abstract要約: 我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 82.36466358313025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a novel distributed learning paradigm, federated learning (FL) faces serious challenges in dealing with massive clients with heterogeneous data distribution and computation and communication resources. Various client-variance-reduction schemes and client sampling strategies have been respectively introduced to improve the robustness of FL. Among others, primal-dual algorithms such as the alternating direction of method multipliers (ADMM) have been found being resilient to data distribution and outperform most of the primal-only FL algorithms. However, the reason behind remains a mystery still. In this paper, we firstly reveal the fact that the federated ADMM is essentially a client-variance-reduced algorithm. While this explains the inherent robustness of federated ADMM, the vanilla version of it lacks the ability to be adaptive to the degree of client heterogeneity. Besides, the global model at the server under client sampling is biased which slows down the practical convergence. To go beyond ADMM, we propose a novel primal-dual FL algorithm, termed FedVRA, that allows one to adaptively control the variance-reduction level and biasness of the global model. In addition, FedVRA unifies several representative FL algorithms in the sense that they are either special instances of FedVRA or are close to it. Extensions of FedVRA to semi/un-supervised learning are also presented. Experiments based on (semi-)supervised image classification tasks demonstrate superiority of FedVRA over the existing schemes in learning scenarios with massive heterogeneous clients and client sampling.
• Abstract（参考訳）: 新たな分散学習パラダイムとして、フェデレートラーニング(FL)は、異種データ分散と計算および通信資源で巨大なクライアントを扱う上で、深刻な課題に直面している。 FLのロバスト性を改善するため,様々なクライアント分散還元方式とクライアントサンプリング方式が導入された。 中でも、メソッド乗算器の交互方向(ADMM)のような原始双対アルゴリズムは、データ分布に耐性があり、原始のみのFLアルゴリズムよりも優れていた。 しかし、その理由はまだ謎のままである。 本稿では,連合型ADMMが本質的にクライアント分散推論アルゴリズムであることを示す。 これは、連合ADMMの本質的な堅牢性を説明するが、そのバニラバージョンはクライアントの不均一性の度合いに適応する能力に欠ける。 さらに、クライアントサンプリング下のサーバのグローバルモデルは偏りがあり、実際的な収束が遅くなる。 ADMMを超えるために、我々はFedVRAと呼ばれる新しい原始双対FLアルゴリズムを提案し、このアルゴリズムにより、グローバルモデルの分散還元レベルと偏りを適応的に制御できる。 さらに、FedVRAはFedVRAの特別な例であるか、それに近いという意味で、いくつかの代表FLアルゴリズムを統合する。 半教師なし学習へのFedVRAの拡張も紹介されている。 半)教師付き画像分類タスクに基づく実験は、巨大な異種クライアントとクライアントサンプリングを用いた学習シナリオにおける既存のスキームよりもfeedvraが優れていることを示している。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation [6.3434032890855345]
  フェデレートされたドメイン適応は、クライアント間のラベルの不均衡の頻度のため、ユニークなミニマックストレーニングタスクである。 本稿では,フェデレーション適応問題に特化して設計されたFedMMと呼ばれる分散ミニマックスドメインを提案する。 我々はFedMMがドメインシフトした教師なしデータで定常点への収束を保証することを証明した。
  論文  参考訳（メタデータ） (2021-10-16T05:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。