論文の概要: Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces
- arxiv url: http://arxiv.org/abs/2209.10526v1
- Date: Wed, 21 Sep 2022 17:37:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 16:01:59.695273
- Title: Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces
- Title（参考訳）: クライアントデータ部分空間間の主角によるクラスタ化フェデレーション学習における効率的な分布類似性同定
- Authors: Saeed Vahidian, Mahdi Morafah, Weijia Wang, Vyacheslav Kungurtsev,
Chen Chen, Mubarak Shah, and Bill Lin
- Abstract要約: クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
- 参考スコア（独自算出の注目度）: 59.33965805898736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clustered federated learning (FL) has been shown to produce promising results
by grouping clients into clusters. This is especially effective in scenarios
where separate groups of clients have significant differences in the
distributions of their local data. Existing clustered FL algorithms are
essentially trying to group together clients with similar distributions so that
clients in the same cluster can leverage each other's data to better perform
federated learning. However, prior clustered FL algorithms attempt to learn
these distribution similarities indirectly during training, which can be quite
time consuming as many rounds of federated learning may be required until the
formation of clusters is stabilized. In this paper, we propose a new approach
to federated learning that directly aims to efficiently identify distribution
similarities among clients by analyzing the principal angles between the client
data subspaces. Each client applies a truncated singular value decomposition
(SVD) step on its local data in a single-shot manner to derive a small set of
principal vectors, which provides a signature that succinctly captures the main
characteristics of the underlying distribution. This small set of principal
vectors is provided to the server so that the server can directly identify
distribution similarities among the clients to form clusters. This is achieved
by comparing the similarities of the principal angles between the client data
subspaces spanned by those principal vectors. The approach provides a simple,
yet effective clustered FL framework that addresses a broad range of data
heterogeneity issues beyond simpler forms of Non-IIDness like label skews. Our
clustered FL approach also enables convergence guarantees for non-convex
objectives. Our code is available at https://github.com/MMorafah/PACFL.
- Abstract（参考訳）: clustered federated learning (fl)は、クライアントをクラスタにグループ化することで、有望な結果を生み出すことが示されている。
これは、クライアントの別々のグループがローカルデータの分布に大きな違いがあるシナリオで特に有効である。
既存のクラスタ型flアルゴリズムは、基本的に同じディストリビューションでクライアントをグループ化することで、同じクラスタ内のクライアントが互いにデータを活用して、連合学習をよりよいものにしようとしている。
しかしながら、クラスタ化flアルゴリズムは、トレーニング中にこれらの分布の類似性を間接的に学習しようとするが、クラスタの形成が安定するまで多くのフェデレーション学習が必要となるため、かなりの時間がかかる。
本稿では,クライアントデータサブスペース間の主角を解析することにより,クライアント間の分布類似性を直接識別することを目的とした,フェデレーション学習への新しいアプローチを提案する。
各クライアントは、単一ショットでローカルデータに切り刻まれた特異値分解(SVD)ステップを適用して、プリンシパルベクトルの小さなセットを導出し、基礎となる分布の主特性を簡潔にキャプチャするシグネチャを提供する。
この小さな主ベクトルセットはサーバに提供され、サーバはクライアント間の分散類似性を直接識別してクラスタを形成することができる。
これは、これらの主ベクトルにまたがるクライアントデータ部分空間間の主角の類似性を比較することで達成される。
このアプローチは単純で効果的なクラスタ化されたFLフレームワークを提供し、ラベルスキューのような単純なIID性以外の幅広いデータ不均一性問題に対処する。
我々のクラスタ化FLアプローチは、非凸目的に対する収束保証も可能にします。
私たちのコードはhttps://github.com/mmorafah/pacflで利用可能です。
関連論文リスト
- A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。
本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。
この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
論文 参考訳（メタデータ） (2024-10-20T19:11:24Z) - FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity [43.71967577443732]
フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。
最近の研究は、単に正規化の形式として平均的な信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。
マルチクラスタ機能を持つコントラストベースのFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-14T13:56:30Z) - FedClust: Optimizing Federated Learning on Non-IID Data through
Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。
本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-03-07T01:50:36Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。
本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。
CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
論文 参考訳（メタデータ） (2020-06-17T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。