論文の概要: An Efficient Framework for Clustered Federated Learning
- arxiv url: http://arxiv.org/abs/2006.04088v2
- Date: Tue, 8 Jun 2021 23:42:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:39:10.065634
- Title: An Efficient Framework for Clustered Federated Learning
- Title（参考訳）: クラスタ化フェデレーション学習のための効率的なフレームワーク
- Authors: Avishek Ghosh, Jichan Chung, Dong Yin and Kannan Ramchandran
- Abstract要約: 本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。
反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。
ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
- 参考スコア（独自算出の注目度）: 26.24231986590374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of federated learning (FL) where users are distributed
and partitioned into clusters. This setup captures settings where different
groups of users have their own objectives (learning tasks) but by aggregating
their data with others in the same cluster (same learning task), they can
leverage the strength in numbers in order to perform more efficient federated
learning. For this new framework of clustered federated learning, we propose
the Iterative Federated Clustering Algorithm (IFCA), which alternately
estimates the cluster identities of the users and optimizes model parameters
for the user clusters via gradient descent. We analyze the convergence rate of
this algorithm first in a linear model with squared loss and then for generic
strongly convex and smooth loss functions. We show that in both settings, with
good initialization, IFCA is guaranteed to converge, and discuss the optimality
of the statistical error rate. In particular, for the linear model with two
clusters, we can guarantee that our algorithm converges as long as the
initialization is slightly better than random. When the clustering structure is
ambiguous, we propose to train the models by combining IFCA with the weight
sharing technique in multi-task learning. In the experiments, we show that our
algorithm can succeed even if we relax the requirements on initialization with
random initialization and multiple restarts. We also present experimental
results showing that our algorithm is efficient in non-convex problems such as
neural networks. We demonstrate the benefits of IFCA over the baselines on
several clustered FL benchmarks.
- Abstract（参考訳）: 我々は,ユーザが分散してクラスタに分割されるフェデレーション学習(fl)の問題に対処する。
このセットアップは、異なるユーザグループが独自の目標(学習タスク)を持つ設定をキャプチャするが、同じクラスタ内の他の人とデータを集約することで(同じ学習タスク)、より効率的なフェデレーション学習を実現するために、数字の強みを活用することができる。
クラスタ化フェデレーション学習の新たなフレームワークとして,ユーザのクラスタアイデンティティを交互に推定する反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案し,勾配降下によるユーザクラスタのモデルパラメータを最適化する。
まず, このアルゴリズムの収束速度を二乗損失を持つ線形モデルで解析し, 次いで, 一般の強凸および滑らかな損失関数について解析した。
両設定において,IFCAが収束することを保証し,統計的誤差率の最適性について議論する。
特に、2つのクラスターを持つ線形モデルの場合、初期化がランダムよりもわずかに優れている限り、アルゴリズムが収束することを保証できる。
クラスタリング構造があいまいである場合,マルチタスク学習においてIFCAと重み共有技術を組み合わせてモデルを訓練することを提案する。
実験では,ランダム初期化と複数再起動による初期化の要求を緩和しても,アルゴリズムが成功することを示す。
また,本アルゴリズムがニューラルネットワークなどの非凸問題に対して有効であることを示す実験結果を示す。
いくつかのクラスタリングFLベンチマークのベースラインに対するIFCAの利点を示す。
関連論文リスト
- Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - An Improved Algorithm for Clustered Federated Learning [29.166363192740768]
本稿では、フェデレートラーニング(FL)における異種モデル間の二分法と同時学習について述べる。
ユーザの(最適)局所モデルに基づいてFLの新しいクラスタリングモデルを定義する。
textttSR-FCAは、クラスタ内の堅牢な学習アルゴリズムを使用して、同時トレーニングとクラスタエラーの修正を行う。
論文 参考訳（メタデータ） (2022-10-20T19:14:36Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - Personalized Federated Learning via Convex Clustering [72.15857783681658]
本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。
提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
論文 参考訳（メタデータ） (2022-02-01T19:25:31Z) - An Exact Algorithm for Semi-supervised Minimum Sum-of-Squares Clustering [0.5801044612920815]
半教師付きMSSCのための分岐結合アルゴリズムを提案する。
背景知識はペアワイズ・マスタリンクと結びつかない制約として組み込まれている。
提案したグローバル最適化アルゴリズムは,実世界のインスタンスを最大800個のデータポイントまで効率的に解決する。
論文 参考訳（メタデータ） (2021-11-30T17:08:53Z) - Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。
実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-09-11T09:26:52Z) - Improving k-Means Clustering Performance with Disentangled Internal
Representations [0.0]
本稿では,オートエンコーダの学習遅延符号表現の絡み合いを最適化する,シンプルなアプローチを提案する。
提案手法を用いて,MNISTデータセットでは96.2%,Fashion-MNISTデータセットでは85.6%,EMNIST Balancedデータセットでは79.2%,ベースラインモデルでは79.2%であった。
論文 参考訳（メタデータ） (2020-06-05T11:32:34Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。