論文の概要: FedProtoKD: Dual Knowledge Distillation with Adaptive Class-wise Prototype Margin for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2508.19009v2
- Date: Wed, 27 Aug 2025 01:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 12:43:57.512652
- Title: FedProtoKD: Dual Knowledge Distillation with Adaptive Class-wise Prototype Margin for Heterogeneous Federated Learning
- Title（参考訳）: FedProtoKD:不均一なフェデレーション学習のための適応型クラスワイド型マージンを用いた二重知識蒸留
- Authors: Md Anwar Hossen, Fatema Siddika, Wensheng Zhang, Anuj Sharma, Ali Jannesari,
- Abstract要約: 統計的不均一性とプライバシー問題に対処するための有望なソリューションとして,プロトタイプベースの不均一フェデレートラーニング(HFL)手法が出現する。
我々は、クライアントのロジットとプロトタイプ表現によるシステム性能向上のために、拡張された二重知識蒸留機構を用いて、異種フェデレート学習環境におけるFedProtoKDを提案する。
FedProtoKDは様々な設定で1.13%から34.13%の精度で平均的な改善を達成し、既存の最先端のHFL法よりも大幅に向上した。
- 参考スコア（独自算出の注目度）: 18.44030373279699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous Federated Learning (HFL) has gained attention for its ability to accommodate diverse models and heterogeneous data across clients. Prototype-based HFL methods emerge as a promising solution to address statistical heterogeneity and privacy challenges, paving the way for new advancements in HFL research. This method focuses on sharing only class-representative prototypes among heterogeneous clients. However, these prototypes are often aggregated on the server using weighted averaging, leading to sub-optimal global knowledge; these cause the shrinking of aggregated prototypes, which negatively affects the model performance in scenarios when models are heterogeneous and data distributions are extremely non-IID. We propose FedProtoKD in a Heterogeneous Federated Learning setting, using an enhanced dual-knowledge distillation mechanism to improve the system performance with clients' logits and prototype feature representation. We aim to resolve the prototype margin-shrinking problem using a contrastive learning-based trainable server prototype by leveraging a class-wise adaptive prototype margin. Furthermore, we assess the importance of public samples using the closeness of the sample's prototype to its class representative prototypes, which enhances learning performance. FedProtoKD achieved average improvements of 1.13% up to 34.13% accuracy across various settings and significantly outperforms existing state-of-the-art HFL methods.
- Abstract（参考訳）: Heterogeneous Federated Learning (HFL)は、クライアント間で多様なモデルや異種データに対応する能力に注目されている。
プロトタイプベースのHFL手法は、統計的不均一性とプライバシー問題に対処するための有望な解決策として登場し、HFL研究における新たな進歩の道を開いた。
この方法は、異種クライアント間でクラス表現型プロトタイプを共有することのみに焦点を当てる。
しかし、これらのプロトタイプは、重み付き平均化を用いてサーバ上に集約されることが多く、これは集約されたプロトタイプの縮小を招き、モデルが不均一でデータ分布が極めて非IIDである場合のシナリオにおけるモデル性能に悪影響を及ぼす。
我々は、クライアントのロジットとプロトタイプの特徴表現を用いてシステム性能を改善するために、拡張された二重知識蒸留機構を用いて、異種フェデレート学習環境におけるFedProtoKDを提案する。
我々は,クラスワイド適応型プロトタイプマージンを利用して,対照的な学習ベースのトレーニング可能なサーバプロトタイプを用いて,プロトタイプのマージン削減問題を解決することを目的とする。
さらに,サンプルのプロトタイプとクラス代表プロトタイプとの密接度を用いて,公開サンプルの重要性を評価し,学習性能を向上させる。
FedProtoKDは様々な設定で1.13%から34.13%の精度で平均的な改善を達成し、既存の最先端のHFL法よりも大幅に向上した。
関連論文リスト
- Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。
動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。
これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
論文 参考訳（メタデータ） (2025-07-14T16:19:00Z) - Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。
異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。
PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
論文 参考訳（メタデータ） (2025-05-20T09:17:07Z) - FedORGP: Guiding Heterogeneous Federated Learning with Orthogonality Regularization on Global Prototypes [31.93057335216804]
フェデレートラーニング(FL)は、分散機械学習に不可欠なフレームワークとして登場した。
現在のアプローチでは、クラスを分離する際の制限に直面している。
本稿では,クラス内プロトタイプの類似性を奨励し,クラス間角分離を拡大するFedtFLORGを紹介する。
論文 参考訳（メタデータ） (2025-02-22T07:02:51Z) - FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning [4.244188591221394]
本稿では,FedSA(Federated Learning via Semantic Anchors)という新しいフレームワークを提案する。
FedSAは、様々な分類タスクにおいて、既存のプロトタイプベースのFLメソッドを著しく上回っている。
論文 参考訳（メタデータ） (2025-01-09T16:10:03Z) - MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced
Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。
我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
論文 参考訳（メタデータ） (2024-01-06T14:43:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy
for Source-free Domain Adaptation [74.93176783541332]
Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。
ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。
SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
論文 参考訳（メタデータ） (2022-04-06T13:23:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。