論文の概要: Distilling A Universal Expert from Clustered Federated Learning
- arxiv url: http://arxiv.org/abs/2506.20285v1
- Date: Wed, 25 Jun 2025 09:44:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.684647
- Title: Distilling A Universal Expert from Clustered Federated Learning
- Title(参考訳): クラスタ化されたフェデレーション学習からユニバーサルエキスパートを蒸留する
- Authors: Zeqi Leng, Chunxu Zhang, Guodong Long, Riting Xia, Bo Yang,
- Abstract要約: CFL(Clustered Federated Learning)は、複数のグループまたはクラスタ固有のエキスパートモデルをトレーニングすることによって、非IIDデータによって引き起こされる課題に対処する。
本稿では,複数のクラスタの知識から普遍的なエキスパートモデルを抽出する新しいFLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 23.801864975543122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clustered Federated Learning (CFL) addresses the challenges posed by non-IID data by training multiple group- or cluster-specific expert models. However, existing methods often overlook the shared information across clusters, which represents the generalizable knowledge valuable to all participants in the Federated Learning (FL) system. To overcome this limitation, this paper introduces a novel FL framework that distills a universal expert model from the knowledge of multiple clusters. This universal expert captures globally shared information across all clients and is subsequently distributed to each client as the initialization for the next round of model training. The proposed FL framework operates in three iterative steps: (1) local model training at each client, (2) cluster-specific model aggregation, and (3) universal expert distillation. This three-step learning paradigm ensures the preservation of fine-grained non-IID characteristics while effectively incorporating shared knowledge across clusters. Compared to traditional gradient-based aggregation methods, the distillation-based model aggregation introduces greater flexibility in handling model heterogeneity and reduces conflicts among cluster-specific experts. Extensive experimental results demonstrate the superior performance of the proposed method across various scenarios, highlighting its potential to advance the state of CFL by balancing personalized and shared knowledge more effectively.
- Abstract(参考訳): CFL(Clustered Federated Learning)は、複数のグループまたはクラスタ固有のエキスパートモデルをトレーニングすることによって、非IIDデータによって引き起こされる課題に対処する。
しかし、既存の手法はしばしばクラスタ間の共有情報を見落とし、これはフェデレートラーニング(FL)システムにおいて、すべての参加者にとって価値のある一般化可能な知識を表している。
この制限を克服するために,複数のクラスタの知識から普遍的なエキスパートモデルを抽出する新しいFLフレームワークを提案する。
このユニバーサルエキスパートは、すべてのクライアント間でグローバルに共有されている情報をキャプチャし、その後、次のモデルのトレーニングのラウンドの初期化として各クライアントに配布する。
提案フレームワークは,(1)クライアント毎の局所モデルトレーニング,(2)クラスタ固有のモデルアグリゲーション,(3)ユニバーサルエキスパート蒸留の3段階からなる。
この3段階学習パラダイムは、クラスタ間の共有知識を効果的に取り入れつつ、粒度の細かい非IID特性の保存を保証する。
従来の勾配に基づくアグリゲーション法と比較して、蒸留に基づくモデルアグリゲーションは、モデルの不均一性を扱う際の柔軟性を高め、クラスタ固有の専門家間の衝突を減らす。
大規模実験の結果,提案手法は様々なシナリオにおいて優れた性能を示し,より効果的にパーソナライズされた共有知識のバランスをとることにより,CFLの状態を前進させる可能性を強調した。
関連論文リスト
- Hierarchical Knowledge Structuring for Effective Federated Learning in Heterogeneous Environments [0.6144680854063939]
フェデレーション学習は、個々のデータのプライバシを維持しながら、分散エンティティ間の協調的なモデルトレーニングを可能にする。
近年の取り組みは、これらの問題を克服するために、ロジットに基づく知識集約と蒸留を活用している。
サンプルログを多粒度コードブックに定式化する階層的知識構造化(HKS)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-04T15:06:02Z) - Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。
本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。
ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2025-02-05T16:33:36Z) - Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。
適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。
広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
論文 参考訳(メタデータ) (2024-10-19T11:32:39Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2024-05-10T11:52:53Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳(メタデータ) (2023-11-28T05:44:26Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳(メタデータ) (2023-10-27T17:22:09Z) - Enhancing Clustered Federated Learning: Integration of Strategies and Improved Methodologies [4.489171618387544]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習の手法である。
クライアント間のデータのばらつきは、すべてのローカルディストリビューションを横断するトレーニングモデルに課題をもたらす。
近年の研究では、クラスタリングがクライアントを異なるクラスタに分割することで、FLにおけるクライアントの不均一性に対処するソリューションとして提案されている。
論文 参考訳(メタデータ) (2023-10-09T04:23:11Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。