論文の概要: Clustered Federated Learning with Hierarchical Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2512.10443v1
• Date: Thu, 11 Dec 2025 09:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.295219
• Title: Clustered Federated Learning with Hierarchical Knowledge Distillation
• Title（参考訳）: 階層的知識蒸留によるクラスタ化フェデレーション学習
• Authors: Sabtain Ahmad, Meerzhan Kanatbekova, Ivona Brandic, Atakan Aral,
• Abstract要約: CFL(Clustered Federated Learning)は、大規模な分散IoT環境において、データの均一性に対処し、プライバシを確保するための強力なアプローチとして登場した。 本稿では,階層型CFLへのシフトを提唱し,エッジにおけるクラスタ固有モデルとクラウドにおける統一グローバルモデルとの双方向アグリゲーションを実現する。 階層的クラスタ知識をCFLに統合するための新しいパーソナライズ手法であるCFLHKDを提案する。
• 参考スコア（独自算出の注目度）: 1.587618661944613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clustered Federated Learning (CFL) has emerged as a powerful approach for addressing data heterogeneity and ensuring privacy in large distributed IoT environments. By clustering clients and training cluster-specific models, CFL enables personalized models tailored to groups of heterogeneous clients. However, conventional CFL approaches suffer from fragmented learning for training independent global models for each cluster and fail to take advantage of collective cluster insights. This paper advocates a shift to hierarchical CFL, allowing bi-level aggregation to train cluster-specific models at the edge and a unified global model at the cloud. This shift improves training efficiency yet might introduce communication challenges. To this end, we propose CFLHKD, a novel personalization scheme for integrating hierarchical cluster knowledge into CFL. Built upon multi-teacher knowledge distillation, CFLHKD enables inter-cluster knowledge sharing while preserving cluster-specific personalization. CFLHKD adopts a bi-level aggregation to bridge the gap between local and global learning. Extensive evaluations of standard benchmark datasets demonstrate that CFLHKD outperforms representative baselines in cluster-specific and global model accuracy and achieves a performance improvement of 3.32-7.57\%.
• Abstract（参考訳）: CFL(Clustered Federated Learning)は、大規模な分散IoT環境において、データの均一性に対処し、プライバシを確保するための強力なアプローチとして登場した。 クライアントのクラスタ化とクラスタ固有のモデルのトレーニングにより、CFLは異種クライアントのグループに合わせたパーソナライズされたモデルを可能にする。 しかし、従来のCFLアプローチでは、クラスタ毎に独立したグローバルモデルをトレーニングするための断片的な学習に悩まされており、集合的なクラスタの洞察を活用できない。 本稿では,階層型CFLへのシフトを提唱し,エッジにおけるクラスタ固有モデルとクラウドにおける統一グローバルモデルとの双方向アグリゲーションを実現する。 このシフトは訓練効率を向上するが、コミュニケーションの課題をもたらす可能性がある。 そこで本研究では,階層的クラスタ知識をCFLに統合する新たなパーソナライズ手法であるCFLHKDを提案する。 マルチ教師の知識蒸留に基づいて構築されたCFLHKDは、クラスタ固有のパーソナライゼーションを維持しながらクラスタ間の知識共有を可能にする。 CFLHKDは、ローカルラーニングとグローバルラーニングのギャップを埋めるために、双方向アグリゲーションを採用している。 CFLHKDはクラスタ固有およびグローバルモデル精度において代表的ベースラインよりも優れ,3.32-7.57\%の性能向上を達成している。

関連論文リスト

• You Can Trust Your Clustering Model: A Parameter-free Self-Boosting Plug-in for Deep Clustering [73.48306836608124]
  DCBoostはパラメータフリーのプラグインで、現在のディープクラスタリングモデルのグローバルな特徴構造を強化するように設計されている。 本手法は, クラスタリング性能を効果的に向上することを目的としている。
  論文  参考訳（メタデータ） (2025-11-26T09:16:36Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings [1.966764032092535]
  クラスタ化フェデレーション学習(CFL)のための新しいアルゴリズムであるCLoVEを提案する。 CLoVEは、クライアントデータに対するモデル損失に由来するクライアントの埋め込みを利用し、同じクラスタ内のクライアントが同様の損失値を共有するという洞察を活用する。 CLoVEは、異なるクラスタからクライアントを反復的に識別し、分離し、クラスタ固有のモデルを最適化することができる。
  論文  参考訳（メタデータ） (2025-06-27T17:52:16Z)
• Distilling A Universal Expert from Clustered Federated Learning [23.801864975543122]
  CFL(Clustered Federated Learning)は、複数のグループまたはクラスタ固有のエキスパートモデルをトレーニングすることによって、非IIDデータによって引き起こされる課題に対処する。 本稿では,複数のクラスタの知識から普遍的なエキスパートモデルを抽出する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-25T09:44:39Z)
• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• LCFed: An Efficient Clustered Federated Learning Framework for Heterogeneous Data [21.341280782748278]
  クラスタ型フェデレーションラーニング(CFL)は、フェデレーションラーニング(FL)におけるデータ不均一性に起因するパフォーマンス上の課題に対処する。 既存のCFLアプローチは、クラスタ内の知識共有を厳密に制限し、クラスタ内のトレーニングとグローバル知識の統合を欠いている。 これらの課題に対処するための効率的なCFLフレームワークであるLCFedを提案する。
  論文  参考訳（メタデータ） (2025-01-03T14:59:48Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。