論文の概要: A Joint Gradient and Loss Based Clustered Federated Learning Design
- arxiv url: http://arxiv.org/abs/2311.13665v1
- Date: Wed, 22 Nov 2023 19:39:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 01:20:42.316263
- Title: A Joint Gradient and Loss Based Clustered Federated Learning Design
- Title（参考訳）: 協調勾配と損失に基づくクラスタ型フェデレーション学習設計
- Authors: Licheng Lin, Mingzhe Chen, Zhaohui Yang, Yusen Wu, Yuchen Liu
- Abstract要約: 非IIDデータを持つ分散エッジデバイスを独立して複数のクラスタを形成できる新しいクラスタ化FLフレームワークを提案する。
エッジデバイスにクラスタ決定を委譲することで、各デバイスはプライベートデータ情報を完全に活用して、独自のクラスタIDを決定できる。
シミュレーションの結果,提案するクラスタリングFLアルゴリズムは,既存のベースラインと比較して最大99%のクラスタリングイテレーションを削減できることがわかった。
- 参考スコア（独自算出の注目度）: 26.54703150478879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, a novel clustered FL framework that enables distributed edge
devices with non-IID data to independently form several clusters in a
distributed manner and implement FL training within each cluster is proposed.
In particular, our designed clustered FL algorithm must overcome two challenges
associated with FL training. First, the server has limited FL training
information (i.e., the parameter server can only obtain the FL model
information of each device) and limited computational power for finding the
differences among a large amount of devices. Second, each device does not have
the data information of other devices for device clustering and can only use
global FL model parameters received from the server and its data information to
determine its cluster identity, which will increase the difficulty of device
clustering. To overcome these two challenges, we propose a joint gradient and
loss based distributed clustering method in which each device determines its
cluster identity considering the gradient similarity and training loss. The
proposed clustering method not only considers how a local FL model of one
device contributes to each cluster but also the direction of gradient descent
thus improving clustering speed. By delegating clustering decisions to edge
devices, each device can fully leverage its private data information to
determine its own cluster identity, thereby reducing clustering overhead and
improving overall clustering performance. Simulation results demonstrate that
our proposed clustered FL algorithm can reduce clustering iterations by up to
99% compared to the existing baseline.
- Abstract（参考訳）: 本稿では,非IIDデータを用いた分散エッジデバイスが分散的に複数のクラスタを独立に形成し,各クラスタ内でのFLトレーニングを実現するための,新たなクラスタ化FLフレームワークを提案する。
特に,クラスタ型flアルゴリズムは,flトレーニングに関連する2つの課題を克服しなければならない。
まず、サーバは、限られたFL訓練情報(すなわち、パラメータサーバは、各デバイスのFLモデル情報しか取得できない)と、大量のデバイス間の差異を見つけるための限られた計算能力を有する。
第2に、各デバイスはデバイスクラスタリングのための他のデバイスのデータ情報を持っておらず、サーバから受信したグローバルflモデルパラメータとそのデータ情報のみを使用してクラスタのアイデンティティを判断し、デバイスクラスタリングの難しさを増大させる。
これら2つの課題を克服するために,各装置が勾配類似性や訓練損失を考慮したクラスタ識別を行う,連立勾配と損失に基づく分散クラスタリング手法を提案する。
提案したクラスタリング手法は,各クラスタに局所FLモデルがどのように寄与するかだけでなく,勾配降下方向も考慮し,クラスタリング速度を向上する。
エッジデバイスにクラスタリングの決定を委譲することで、各デバイスは自身のプライベートデータ情報を完全に活用して、自身のクラスタidを決定できるため、クラスタリングのオーバーヘッドが削減され、クラスタ全体のパフォーマンスが向上する。
シミュレーションの結果,提案するクラスタリングFLアルゴリズムは,既存のベースラインと比較して最大99%のクラスタリングイテレーションを削減できることがわかった。
関連論文リスト
- Geographical Node Clustering and Grouping to Guarantee Data IIDness in Federated Learning [2.903020332386652]
フェデレートラーニング(FL)の大きな課題は、非IIDデータセットの問題である。
本稿では,モバイルIoTノードを適切にクラスタリングし,グループ化することで,データのIID性を確保する新しい手法を提案する。
本機構は, グループ単位のデバイス数とグループ単位のデバイス数との結合コストにおいて, ベンチマークグループ化アルゴリズムを少なくとも110倍に向上させる。
論文 参考訳（メタデータ） (2024-10-21T07:03:15Z) - Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳（メタデータ） (2024-03-05T17:49:09Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Hierarchical Federated Learning in Multi-hop Cluster-Based VANETs [12.023861154677205]
本稿では,マルチホップクラスタリングに基づくVANET上での階層型フェデレーション学習(HFL)のための新しいフレームワークを提案する。
提案手法は,FLモデルパラメータの平均相対速度とコサイン類似度の重み付けをクラスタリング指標として用いる。
大規模なシミュレーションにより,クラスタ化VANET上での階層型フェデレーション学習が,精度と収束時間を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2024-01-18T20:05:34Z) - Find Your Optimal Assignments On-the-fly: A Holistic Framework for
Clustered Federated Learning [5.045379017315639]
Federated Learning(FL)は、エッジデバイスにデータを格納することでクライアントのプライバシを保護する、新興の分散機械学習アプローチである。
近年の研究では、異なるクラスタに分散シフトしたクライアントをグループ化することで、FLにおけるクライアントの不均一性に取り組むためのソリューションとしてクラスタリングが提案されている。
本稿では,現在のクラスタリングFL手法を包括的に検討し,既存のアプローチを包括・拡張するための4層フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-09T04:23:11Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Clustered Federated Learning based on Nonconvex Pairwise Fusion [22.82565500426576]
我々はFusion Clustering (FPFC)と呼ばれる新しいクラスタリングFL設定を導入する。
FPFCは、各通信で部分的な更新を行うことができ、可変ワークロードによる並列計算を可能にする。
また,FLFCの全般的損失とロバスト性を考慮した新しい実用戦略を提案する。
論文 参考訳（メタデータ） (2022-11-08T13:04:56Z) - An Improved Algorithm for Clustered Federated Learning [29.166363192740768]
本稿では、フェデレートラーニング(FL)における異種モデル間の二分法と同時学習について述べる。
ユーザの(最適)局所モデルに基づいてFLの新しいクラスタリングモデルを定義する。
textttSR-FCAは、クラスタ内の堅牢な学習アルゴリズムを使用して、同時トレーニングとクラスタエラーの修正を行う。
論文 参考訳（メタデータ） (2022-10-20T19:14:36Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - Personalized Federated Learning via Convex Clustering [72.15857783681658]
本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。
提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
論文 参考訳（メタデータ） (2022-02-01T19:25:31Z) - Device Scheduling and Update Aggregation Policies for Asynchronous
Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。
本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-23T18:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。