論文の概要: Clustered Federated Learning based on Nonconvex Pairwise Fusion

• arxiv url: http://arxiv.org/abs/2211.04218v1
• Date: Tue, 8 Nov 2022 13:04:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 17:12:34.017964
• Title: Clustered Federated Learning based on Nonconvex Pairwise Fusion
• Title（参考訳）: 非凸ペアワイズ融合に基づくクラスタ化フェデレーション学習
• Authors: Xue Yu, Ziyi Liu, Yifan Sun and Wu Wang
• Abstract要約: 非i.d.データを用いた同時クラスタクラスタ上でのFPFCについて検討する。 我々はADMMから呼ばれるクラスタリングFLを開発し、各デバイスが作業を行うことを可能にする。 本実験は既存手法の利点を実証するものである。
• 参考スコア（独自算出の注目度）: 12.585955610824035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.
• Abstract（参考訳）: 本研究では、FLの定式化の1つであるクラスタ化フェデレーション学習(FL)について検討し、デバイスをクラスタに分割し、各クラスタがそのデータを局所化モデルに最適に適合させる。 パラメータのペア差に非凸ペナルティを適用した新しいクラスタリングFLフレームワークを提案する。 このフレームワークは、クラスタの数とクラスタ内のデバイスセットを事前に知ることなく、自動的にクラスタを識別できる。 提案するフレームワークを実装するために,FPFCと呼ばれる新しいクラスタリングFL法を開発した。 本手法は標準ADMMに準じて並列に実装され,各通信ラウンドにおける装置のサブセットのみを更新し,各装置が可変量の作業を行うことを可能にする。 これにより、プライバシーを同時に保ちながら通信コストを大幅に削減する。 また,fl設定下でのハイパーパラメータチューニングのための新しいウォームアップ戦略を提案し,非同期型fpfc (asyncfpfc) を検討する。 理論的には、一般の非凸損失に対するFPFCの収束保証を提供し、二乗損失を持つ線形モデルの下で統計的収束率を確立する。 既存手法よりもFPFCの方が優れていることを示す。

関連論文リスト

• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Dual-Segment Clustering Strategy for Hierarchical Federated Learning in Heterogeneous Wireless Environments [22.35256018841889]
  非独立かつ同一分布(ノンID)データは、フェデレートラーニング(FL)に悪影響を及ぼす 本稿では,FLにおける通信とデータの不均一性を両立する新たなデュアルセグメンテーションクラスタリング(DSC)戦略を提案する。 収束解析と実験結果から,DSC戦略は無線FLの収束率を向上させることができることが示された。
  論文  参考訳（メタデータ） (2024-05-15T11:46:47Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Hierarchical Federated Learning in Multi-hop Cluster-Based VANETs [12.023861154677205]
  本稿では,マルチホップクラスタリングに基づくVANET上での階層型フェデレーション学習(HFL)のための新しいフレームワークを提案する。 提案手法は,FLモデルパラメータの平均相対速度とコサイン類似度の重み付けをクラスタリング指標として用いる。 大規模なシミュレーションにより,クラスタ化VANET上での階層型フェデレーション学習が,精度と収束時間を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-01-18T20:05:34Z)
• A Joint Gradient and Loss Based Clustered Federated Learning Design [26.54703150478879]
  非IIDデータを持つ分散エッジデバイスを独立して複数のクラスタを形成できる新しいクラスタ化FLフレームワークを提案する。 エッジデバイスにクラスタ決定を委譲することで、各デバイスはプライベートデータ情報を完全に活用して、独自のクラスタIDを決定できる。 シミュレーションの結果,提案するクラスタリングFLアルゴリズムは,既存のベースラインと比較して最大99%のクラスタリングイテレーションを削減できることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T19:39:37Z)
• Find Your Optimal Assignments On-the-fly: A Holistic Framework for Clustered Federated Learning [5.045379017315639]
  Federated Learning(FL)は、エッジデバイスにデータを格納することでクライアントのプライバシを保護する、新興の分散機械学習アプローチである。 近年の研究では、異なるクラスタに分散シフトしたクライアントをグループ化することで、FLにおけるクライアントの不均一性に取り組むためのソリューションとしてクラスタリングが提案されている。 本稿では,現在のクラスタリングFL手法を包括的に検討し,既存のアプローチを包括・拡張するための4層フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-09T04:23:11Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。