論文の概要: Heterogeneity for the Win: One-Shot Federated Clustering
- arxiv url: http://arxiv.org/abs/2103.00697v1
- Date: Mon, 1 Mar 2021 02:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 15:46:22.552074
- Title: Heterogeneity for the Win: One-Shot Federated Clustering
- Title（参考訳）: 勝利への異質性:ワンショットフェデレーションクラスタリング
- Authors: Don Kurian Dennis, Tian Li and Virginia Smith
- Abstract要約: 我々は、広く使われている$k$-meansクラスタリング法に基づいて、1ショットのフェデレーションクラスタリングスキームである$k$-FEDを開発し、分析する。
フェデレーションネットワークにおける統計的不均一性の問題は,実際に解析に有用であることを示す。
- 参考スコア（独自算出の注目度）: 8.64969514480008
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we explore the unique challenges -- and opportunities -- of
unsupervised federated learning (FL). We develop and analyze a one-shot
federated clustering scheme, $k$-FED, based on the widely-used Lloyd's method
for $k$-means clustering. In contrast to many supervised problems, we show that
the issue of statistical heterogeneity in federated networks can in fact
benefit our analysis. We analyse $k$-FED under a center separation assumption
and compare it to the best known requirements of its centralized counterpart.
Our analysis shows that in heterogeneous regimes where the number of clusters
per device $(k')$ is smaller than the total number of clusters over the network
$k$, $(k'\le \sqrt{k})$, we can use heterogeneity to our advantage --
significantly weakening the cluster separation requirements for $k$-FED. From a
practical viewpoint, $k$-FED also has many desirable properties: it requires
only round of communication, can run asynchronously, and can handle partial
participation or node/network failures. We motivate our analysis with
experiments on common FL benchmarks, and highlight the practical utility of
one-shot clustering through use-cases in personalized FL and device sampling.
- Abstract（参考訳）: 本研究では,教師なしフェデレーション学習(fl)のユニークな課題と機会について検討する。
我々は、広く使われている$k$-meansクラスタリング法に基づいて、1ショットのフェデレーションクラスタリングスキームである$k$-FEDを開発し、分析する。
多くの教師付き問題とは対照的に,フェデレーションネットワークにおける統計的不均一性の問題が解析に有用であることを示す。
我々は、中心分離仮定の下で$k$-FEDを分析し、中央分離仮定の最もよく知られた要件と比較する。
私たちの分析は、デバイス当たりのクラスタ数 $(k')$ がネットワーク上のクラスタ総数 $k$, $(k'\le \sqrt{k})$ よりも小さいような異種系では、我々の利点に異種性を使うことができることを示している。
実用的な観点から見ると、$k$-fedには多くの望ましい特性がある。通信のラウンドのみが必要で、非同期に実行でき、部分的な参加やノード/ネットワーク障害を処理できる。
我々は,共通flベンチマーク実験を用いて分析を動機付け,個人化flおよびデバイスサンプリングにおける使用事例によるワンショットクラスタリングの実用性を強調した。
関連論文リスト
- Dynamically Weighted Federated k-Means [0.0]
フェデレートされたクラスタリングにより、複数のデータソースが協力してデータをクラスタリングし、分散化とプライバシ保護を維持できる。
我々は,ロイドのk-meansクラスタリング法に基づいて,動的に重み付けされたk-means (DWF k-means) という新しいクラスタリングアルゴリズムを提案する。
我々は、クラスタリングスコア、精度、およびv尺度の観点から、アルゴリズムの性能を評価するために、複数のデータセットとデータ分散設定の実験を行う。
論文 参考訳（メタデータ） (2023-10-23T12:28:21Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - A One-shot Framework for Distributed Clustered Learning in Heterogeneous
Environments [54.172993875654015]
異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。
ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。
厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
論文 参考訳（メタデータ） (2022-09-22T09:04:10Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - Differentially-Private Clustering of Easy Instances [67.04951703461657]
異なるプライベートクラスタリングでは、個々のデータポイントに関する情報を公開せずに、$k$のクラスタセンターを特定することが目標だ。
我々は、データが"簡単"である場合にユーティリティを提供する実装可能な差分プライベートクラスタリングアルゴリズムを提供する。
我々は、非プライベートクラスタリングアルゴリズムを簡単なインスタンスに適用し、結果をプライベートに組み合わせることのできるフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-29T08:13:56Z) - Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。
実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-09-11T09:26:52Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - K-expectiles clustering [0.0]
本稿では,期待値に基づく分割クラスタリングアルゴリズムを提案する。
固定$tau$クラスタリングと適応$tau$クラスタリングの2つのスキームを提案します。
論文 参考訳（メタデータ） (2021-03-16T21:14:56Z) - An Efficient Framework for Clustered Federated Learning [26.24231986590374]
本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。
反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。
ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
論文 参考訳（メタデータ） (2020-06-07T08:48:59Z) - Computationally efficient sparse clustering [67.95910835079825]
我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。
ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
論文 参考訳（メタデータ） (2020-05-21T17:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。