Fugu-MT 論文翻訳(概要): An Improved Algorithm for Clustered Federated Learning

論文の概要: An Improved Algorithm for Clustered Federated Learning

arxiv url: http://arxiv.org/abs/2210.11538v1
Date: Thu, 20 Oct 2022 19:14:36 GMT
ステータス: 処理完了
システム内更新日: 2022-10-24 14:27:56.804285
Title: An Improved Algorithm for Clustered Federated Learning
Title（参考訳）: クラスタ化フェデレーション学習のための改良アルゴリズム
Authors: Harshvardhan, Avishek Ghosh and Arya Mazumdar
Abstract要約: 本稿では、フェデレートラーニング(FL)における異種モデル間の二分法と同時学習について述べる。ユーザの(最適)局所モデルに基づいてFLの新しいクラスタリングモデルを定義する。 textttSR-FCAは、クラスタ内の堅牢な学習アルゴリズムを使用して、同時トレーニングとクラスタエラーの修正を行う。
参考スコア（独自算出の注目度）: 29.166363192740768
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we address the dichotomy between heterogeneous models and simultaneous training in Federated Learning (FL) via a clustering framework. We define a new clustering model for FL based on the (optimal) local models of the users: two users belong to the same cluster if their local models are close; otherwise they belong to different clusters. A standard algorithm for clustered FL is proposed in \cite{ghosh_efficient_2021}, called \texttt{IFCA}, which requires \emph{suitable} initialization and the knowledge of hyper-parameters like the number of clusters (which is often quite difficult to obtain in practical applications) to converge. We propose an improved algorithm, \emph{Successive Refine Federated Clustering Algorithm} (\texttt{SR-FCA}), which removes such restrictive assumptions. \texttt{SR-FCA} treats each user as a singleton cluster as an initialization, and then successively refine the cluster estimation via exploiting similar users belonging to the same cluster. In any intermediate step, \texttt{SR-FCA} uses a robust federated learning algorithm within each cluster to exploit simultaneous training and to correct clustering errors. Furthermore, \texttt{SR-FCA} does not require any \emph{good} initialization (warm start), both in theory and practice. We show that with proper choice of learning rate, \texttt{SR-FCA} incurs arbitrarily small clustering error. Additionally, we validate the performance of our algorithm on standard FL datasets in non-convex problems like neural nets, and we show the benefits of \texttt{SR-FCA} over baselines.
Abstract（参考訳）: 本稿では,異種モデル間の二分法と,クラスタリングフレームワークを用いたフェデレートラーニング(FL)の同時学習について述べる。私たちは、ユーザの(最適)ローカルモデルに基づいて、flの新しいクラスタリングモデルを定義します。ローカルモデルが近い場合は、2人のユーザが同じクラスタに属します。クラスタ化FLの標準的なアルゴリズムは \cite{ghosh_efficient_2021} で提案されており、これは \emph{suitable} 初期化とクラスタ数のようなハイパーパラメータの知識を収束させる必要がある。そこで我々は,このような制約的仮定を除去する改良アルゴリズム, \emph{Successive Refine Federated Clustering Algorithm} (\texttt{SR-FCA})を提案する。 \texttt{SR-FCA} は、各ユーザをシングルトンクラスタとして初期化として扱い、同じクラスタに属する類似ユーザを利用してクラスタ推定を順次洗練する。任意の中間ステップにおいて、 \texttt{SR-FCA} はクラスタ内の堅牢なフェデレーション学習アルゴリズムを使用して、同時トレーニングとクラスタリングエラーの修正を行う。さらに、 texttt{SR-FCA} は理論と実践の両方において \emph{good} 初期化(ウォームスタート)を必要としない。学習率を適切に選択することで,任意にクラスタリング誤差が小さくなることを示す。さらに、ニューラルネットワークのような非凸問題における標準flデータセットにおけるアルゴリズムの性能を検証するとともに、ベースラインに対する \texttt{sr-fca} の利点を示す。

関連論文リスト

Fair Minimum Representation Clustering via Integer Programming [0.6906005491572401]
クラスタリングは、データをクラスタの集合に分割することを目的とした教師なしの学習タスクである。本稿では,各群が最小表現レベルを持つ必要があるという制約を伴って,k平均とkメダニアンのクラスタリング問題を考察する。フェアネス制約を直接組み込んだ,MiniReLと呼ばれる交代最小化アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-04T00:13:40Z)
Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
論文参考訳（メタデータ） (2023-08-13T18:12:28Z)
Large Language Models Enable Few-Shot Clustering [88.06276828752553]
大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
論文参考訳（メタデータ） (2023-07-02T09:17:11Z)
Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文参考訳（メタデータ） (2023-06-18T08:46:06Z)
Hybrid Fuzzy-Crisp Clustering Algorithm: Theory and Experiments [0.0]
本稿では,対象関数の線形項と2次項を組み合わせたファジィクロップクラスタリングアルゴリズムを提案する。このアルゴリズムでは、クラスタへのデータポイントのメンバシップが、クラスタセンタから十分に離れていれば、自動的に正確にゼロに設定される。提案アルゴリズムは、不均衡なデータセットの従来の手法よりも優れており、よりバランスの取れたデータセットと競合することができる。
論文参考訳（メタデータ） (2023-03-25T05:27:26Z)
Personalized Federated Learning via Convex Clustering [72.15857783681658]
本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
論文参考訳（メタデータ） (2022-02-01T19:25:31Z)
An Exact Algorithm for Semi-supervised Minimum Sum-of-Squares Clustering [0.5801044612920815]
半教師付きMSSCのための分岐結合アルゴリズムを提案する。背景知識はペアワイズ・マスタリンクと結びつかない制約として組み込まれている。提案したグローバル最適化アルゴリズムは,実世界のインスタンスを最大800個のデータポイントまで効率的に解決する。
論文参考訳（メタデータ） (2021-11-30T17:08:53Z)
Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering [0.8543753708890495]
本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
論文参考訳（メタデータ） (2021-07-06T08:00:58Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文参考訳（メタデータ） (2020-10-22T15:58:35Z)
An Efficient Framework for Clustered Federated Learning [26.24231986590374]
本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
論文参考訳（メタデータ） (2020-06-07T08:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。