論文の概要: Clustered Federated Learning based on Nonconvex Pairwise Fusion

• arxiv url: http://arxiv.org/abs/2211.04218v3
• Date: Sun, 24 Dec 2023 09:29:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-28 02:08:05.466918
• Title: Clustered Federated Learning based on Nonconvex Pairwise Fusion
• Title（参考訳）: 非凸ペアワイズ融合に基づくクラスタ化フェデレーション学習
• Authors: Xue Yu, Ziyi Liu, Wu Wang and Yifan Sun
• Abstract要約: 我々はFusion Clustering (FPFC)と呼ばれる新しいクラスタリングFL設定を導入する。 FPFCは、各通信で部分的な更新を行うことができ、可変ワークロードによる並列計算を可能にする。 また,FLFCの全般的損失とロバスト性を考慮した新しい実用戦略を提案する。
• 参考スコア（独自算出の注目度）: 22.82565500426576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a clustered FL framework that incorporates a nonconvex penalty to pairwise differences of parameters. Without a priori knowledge of the set of devices in each cluster and the number of clusters, this framework can autonomously estimate cluster structures. To implement the proposed framework, we introduce a novel clustered FL method called Fusion Penalized Federated Clustering (FPFC). Building upon the standard alternating direction method of multipliers (ADMM), FPFC can perform partial updates at each communication round and allows parallel computation with variable workload. These strategies significantly reduce the communication cost while ensuring privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning in FL settings and explore the asynchronous variant of FPFC (asyncFPFC). Theoretical analysis provides convergence guarantees for FPFC with general losses and establishes the statistical convergence rate under a linear model with squared loss. Extensive experiments have demonstrated the superiority of FPFC compared to current methods, including robustness and generalization capability.
• Abstract（参考訳）: 本研究では、FLの定式化の1つであるクラスタ化フェデレーション学習(FL)について検討し、デバイスをクラスタに分割し、各クラスタがそのデータを局所化モデルに最適に適合させる。 パラメータのペア差に非凸ペナルティを組み込んだクラスタリングFLフレームワークを提案する。 各クラスタ内のデバイスセットとクラスタ数に関する事前知識がなければ、このフレームワークはクラスタ構造を自律的に見積もることができる。 提案手法を実装するために,Fusion Penalized Federated Clustering (FPFC) と呼ばれる新しいFL法を提案する。 乗算器の標準交互方向法(ADMM)に基づいて、FPFCは各通信ラウンドで部分的な更新を行うことができ、可変ワークロードによる並列計算が可能である。 これらの戦略は、プライバシーを確保しながら通信コストを大幅に削減し、flにとって実用的なものとなる。 また、FL設定におけるハイパーパラメータチューニングのための新しいウォームアップ戦略を提案し、FPFCの非同期変種(asyncFPFC)を探索する。 理論解析は、FPFCの一般損失に対する収束保証を提供し、二乗損失を持つ線形モデルの下で統計収束率を確立する。 大規模な実験により、FPFCはロバスト性や一般化能力を含む現在の手法よりも優れていることが示された。

関連論文リスト

• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Dual-Segment Clustering Strategy for Hierarchical Federated Learning in Heterogeneous Wireless Environments [22.35256018841889]
  非独立かつ同一分布(ノンID)データは、フェデレートラーニング(FL)に悪影響を及ぼす 本稿では,FLにおける通信とデータの不均一性を両立する新たなデュアルセグメンテーションクラスタリング(DSC)戦略を提案する。 収束解析と実験結果から,DSC戦略は無線FLの収束率を向上させることができることが示された。
  論文  参考訳（メタデータ） (2024-05-15T11:46:47Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Hierarchical Federated Learning in Multi-hop Cluster-Based VANETs [12.023861154677205]
  本稿では,マルチホップクラスタリングに基づくVANET上での階層型フェデレーション学習(HFL)のための新しいフレームワークを提案する。 提案手法は,FLモデルパラメータの平均相対速度とコサイン類似度の重み付けをクラスタリング指標として用いる。 大規模なシミュレーションにより,クラスタ化VANET上での階層型フェデレーション学習が,精度と収束時間を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-01-18T20:05:34Z)
• A Joint Gradient and Loss Based Clustered Federated Learning Design [26.54703150478879]
  非IIDデータを持つ分散エッジデバイスを独立して複数のクラスタを形成できる新しいクラスタ化FLフレームワークを提案する。 エッジデバイスにクラスタ決定を委譲することで、各デバイスはプライベートデータ情報を完全に活用して、独自のクラスタIDを決定できる。 シミュレーションの結果,提案するクラスタリングFLアルゴリズムは,既存のベースラインと比較して最大99%のクラスタリングイテレーションを削減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T19:39:37Z)
• Find Your Optimal Assignments On-the-fly: A Holistic Framework for Clustered Federated Learning [5.045379017315639]
  Federated Learning(FL)は、エッジデバイスにデータを格納することでクライアントのプライバシを保護する、新興の分散機械学習アプローチである。 近年の研究では、異なるクラスタに分散シフトしたクライアントをグループ化することで、FLにおけるクライアントの不均一性に取り組むためのソリューションとしてクラスタリングが提案されている。 本稿では,現在のクラスタリングFL手法を包括的に検討し,既存のアプローチを包括・拡張するための4層フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-09T04:23:11Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。