Fugu-MT 論文翻訳(概要): CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings

論文の概要: CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings

arxiv url: http://arxiv.org/abs/2506.22427v1
Date: Fri, 27 Jun 2025 17:52:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-30 21:12:23.317029
Title: CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings
Title（参考訳）: CLoVE: ロスベクトル埋め込みのクラスタリングによる個人化フェデレーション学習
Authors: Randeep Bhatia, Nikos Papadis, Murali Kodialam, TV Lakshman, Sayak Chakrabarty,
Abstract要約: クラスタ化フェデレーション学習(CFL)のための新しいアルゴリズムであるCLoVEを提案する。 CLoVEは、クライアントデータに対するモデル損失に由来するクライアントの埋め込みを利用し、同じクラスタ内のクライアントが同様の損失値を共有するという洞察を活用する。 CLoVEは、異なるクラスタからクライアントを反復的に識別し、分離し、クラスタ固有のモデルを最適化することができる。
参考スコア（独自算出の注目度）: 1.966764032092535
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We propose CLoVE (Clustering of Loss Vector Embeddings), a novel algorithm for Clustered Federated Learning (CFL). In CFL, clients are naturally grouped into clusters based on their data distribution. However, identifying these clusters is challenging, as client assignments are unknown. CLoVE utilizes client embeddings derived from model losses on client data, and leverages the insight that clients in the same cluster share similar loss values, while those in different clusters exhibit distinct loss patterns. Based on these embeddings, CLoVE is able to iteratively identify and separate clients from different clusters and optimize cluster-specific models through federated aggregation. Key advantages of CLoVE over existing CFL algorithms are (1) its simplicity, (2) its applicability to both supervised and unsupervised settings, and (3) the fact that it eliminates the need for near-optimal model initialization, which makes it more robust and better suited for real-world applications. We establish theoretical convergence bounds, showing that CLoVE can recover clusters accurately with high probability in a single round and converges exponentially fast to optimal models in a linear setting. Our comprehensive experiments comparing with a variety of both CFL and generic Personalized Federated Learning (PFL) algorithms on different types of datasets and an extensive array of non-IID settings demonstrate that CLoVE achieves highly accurate cluster recovery in just a few rounds of training, along with state-of-the-art model accuracy, across a variety of both supervised and unsupervised PFL tasks.
Abstract（参考訳）: CLOVE(Clustering of Loss Vector Embeddings)は,CFL(Clustered Federated Learning)のための新しいアルゴリズムである。 CFLでは、クライアントはデータ分散に基づいて、自然にクラスタにグループ化されます。しかし、クライアントの割り当てが不明であるため、これらのクラスタを特定することは難しい。 CLoVEは、クライアントデータに対するモデル損失に由来するクライアントの埋め込みを利用し、同じクラスタ内のクライアントが同様の損失値を共有しているのに対して、異なるクラスタ内のクライアントは異なる損失パターンを示しているという洞察を活用する。これらの埋め込みに基づいて、CLoVEは異なるクラスタからクライアントを反復的に識別し、分離し、フェデレーションアグリゲーションを通じてクラスタ固有のモデルを最適化することができる。既存のCFLアルゴリズムに対するCLoVEの主な利点は、(1)その単純さ、(2)教師なし設定と教師なし設定の両方に適用可能であること、(3)準最適モデル初期化の必要性を排除し、より堅牢で現実のアプリケーションに適しているという事実である。我々は理論収束境界を確立し、CLoVEは単一ラウンドで高い確率でクラスタを正確に回復し、線形設定で最適モデルに指数関数的に高速に収束することを示した。 CFLとPFL(Personalized Federated Learning)のアルゴリズムを、さまざまなタイプのデータセットと、CLOVEが数ラウンドのトレーニングで高い精度のクラスタリカバリを実現し、最新のモデルの精度を、教師付きおよび教師なしのPFLタスクの両方で比較した総合的な実験を行った。

関連論文リスト

Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2025-02-05T16:33:36Z)
Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。 1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
論文参考訳（メタデータ） (2024-01-11T15:22:55Z)
Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文参考訳（メタデータ） (2023-11-28T05:44:26Z)
Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文参考訳（メタデータ） (2023-09-04T10:47:52Z)
Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文参考訳（メタデータ） (2023-03-02T01:39:16Z)
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文参考訳（メタデータ） (2022-09-21T17:37:54Z)
An Efficient Framework for Clustered Federated Learning [26.24231986590374]
本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
論文参考訳（メタデータ） (2020-06-07T08:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。