論文の概要: Personalized Federated Learning with Multiple Known Clusters
- arxiv url: http://arxiv.org/abs/2204.13619v1
- Date: Thu, 28 Apr 2022 16:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 16:02:54.414815
- Title: Personalized Federated Learning with Multiple Known Clusters
- Title(参考訳): 複数の既知のクラスタによる個人化フェデレーション学習
- Authors: Boxiang Lyu, Filip Hanzely, Mladen Kolar
- Abstract要約: 我々は,ユーザの中に既知のクラスタ構造が存在する場合,個人化フェデレーション学習の問題点を考察する。
直感的なアプローチは、パラメータを規則化し、同じクラスタのユーザが同様のモデルの重みを共有することである。
我々は,各クラスタが独立して通信し,収束結果を導出するアルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 20.585114235701603
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We consider the problem of personalized federated learning when there are
known cluster structures within users. An intuitive approach would be to
regularize the parameters so that users in the same cluster share similar model
weights. The distances between the clusters can then be regularized to reflect
the similarity between different clusters of users. We develop an algorithm
that allows each cluster to communicate independently and derive the
convergence results. We study a hierarchical linear model to theoretically
demonstrate that our approach outperforms agents learning independently and
agents learning a single shared weight. Finally, we demonstrate the advantages
of our approach using both simulated and real-world data.
- Abstract(参考訳): ユーザ内に既知のクラスタ構造がある場合、パーソナライズされた連合学習の問題を考える。
直感的なアプローチとして、同じクラスタのユーザが同様のモデル重みを共有するようにパラメータを定式化する。
クラスタ間の距離は、異なるユーザのクラスタ間の類似性を反映して正規化することができる。
我々は,各クラスタが独立して通信し,収束結果を導出するアルゴリズムを開発した。
我々は,階層線形モデルを用いて,エージェントが独立に学習し,エージェントが単一の共有重みを学習することを理論的に実証する。
最後に,シミュレーションデータと実世界データの両方を用いて,このアプローチの利点を示す。
関連論文リスト
- A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。
本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。
この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
論文 参考訳(メタデータ) (2024-10-20T19:11:24Z) - Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning [8.37314799155978]
本研究では,データの類似性に基づいてユーザを効果的に識別し,グループ化できるワンショットクラスタリングアルゴリズムを提案する。
提案アルゴリズムはクラスタリングプロセスを強化するだけでなく,プライバシの懸念や通信のオーバーヘッド,学習モデルや損失関数の振る舞いに関する事前知識の必要性といった課題も克服する。
論文 参考訳(メタデータ) (2024-10-03T17:51:21Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳(メタデータ) (2023-08-30T07:46:32Z) - ClusterNet: A Perception-Based Clustering Model for Scattered Data [16.326062082938215]
クラスタ分離は、一般的に広く使用されているクラスタリング技術によって取り組まれるタスクである。
本稿では,分散データを直接操作する学習戦略を提案する。
私たちは、ポイントベースのディープラーニングモデルであるClusterNetをトレーニングし、クラスタ分離性に対する人間の認識を反映するように訓練します。
論文 参考訳(メタデータ) (2023-04-27T13:41:12Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - Personalized Federated Learning via Convex Clustering [72.15857783681658]
本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。
提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
論文 参考訳(メタデータ) (2022-02-01T19:25:31Z) - Integrating Auxiliary Information in Self-supervised Learning [94.11964997622435]
まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。
補助情報に基づいてデータクラスタを構築する。
我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
論文 参考訳(メタデータ) (2021-06-05T11:01:15Z) - Clustering-friendly Representation Learning via Instance Discrimination
and Feature Decorrelation [0.0]
本稿では,インスタンス識別と特徴デコレーションを用いたクラスタリングに親しみやすい表現学習手法を提案する。
CIFAR-10とImageNet-10を用いた画像クラスタリングの評価では,それぞれ81.5%,95.4%の精度が得られた。
論文 参考訳(メタデータ) (2021-05-31T22:59:31Z) - CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition [52.66360172784038]
各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
論文 参考訳(メタデータ) (2021-01-18T12:46:24Z) - LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。
本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。
CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
論文 参考訳(メタデータ) (2020-06-17T17:58:10Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。