論文の概要: SFedKD: Sequential Federated Learning with Discrepancy-Aware Multi-Teacher Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2507.08508v1
• Date: Fri, 11 Jul 2025 11:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.343282
• Title: SFedKD: Sequential Federated Learning with Discrepancy-Aware Multi-Teacher Knowledge Distillation
• Title（参考訳）: SFedKD: 離散性を考慮した多教師知識蒸留による逐次フェデレーション学習
• Authors: Haotian Xu, Jinrui Zhou, Xichong Zhang, Mingjun Xiao, He Sun, Yin Xu,
• Abstract要約: 本稿では, SFedKD と呼ばれる, 異なる知識の蒸留を行う SFL フレームワークを提案する。 SFedKDでは,教師の目標クラスと非目標クラスの知識に異なる重みを割り当てる。 SFedKDは,SFLにおける破滅的忘れを効果的に克服し,最先端のFL法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.116187140646918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a distributed machine learning paradigm which coordinates multiple clients to collaboratively train a global model via a central server. Sequential Federated Learning (SFL) is a newly-emerging FL training framework where the global model is trained in a sequential manner across clients. Since SFL can provide strong convergence guarantees under data heterogeneity, it has attracted significant research attention in recent years. However, experiments show that SFL suffers from severe catastrophic forgetting in heterogeneous environments, meaning that the model tends to forget knowledge learned from previous clients. To address this issue, we propose an SFL framework with discrepancy-aware multi-teacher knowledge distillation, called SFedKD, which selects multiple models from the previous round to guide the current round of training. In SFedKD, we extend the single-teacher Decoupled Knowledge Distillation approach to our multi-teacher setting and assign distinct weights to teachers' target-class and non-target-class knowledge based on the class distributional discrepancy between teacher and student data. Through this fine-grained weighting strategy, SFedKD can enhance model training efficacy while mitigating catastrophic forgetting. Additionally, to prevent knowledge dilution, we eliminate redundant teachers for the knowledge distillation and formalize it as a variant of the maximum coverage problem. Based on the greedy strategy, we design a complementary-based teacher selection mechanism to ensure that the selected teachers achieve comprehensive knowledge space coverage while reducing communication and computational costs. Extensive experiments show that SFedKD effectively overcomes catastrophic forgetting in SFL and outperforms state-of-the-art FL methods.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習パラダイムで、複数のクライアントをコーディネートして、中央サーバを介してグローバルモデルを協調的にトレーニングする。 シーケンシャルフェデレートラーニング(Sequential Federated Learning, SFL)は、クライアント間でグローバルモデルをシーケンシャルにトレーニングする、新たなFLトレーニングフレームワークである。 SFLはデータ不均一性の下で強い収束を保証することができるため、近年は大きな研究が注目されている。 しかし、実験により、SFLは異種環境における深刻な破滅的な忘れ込みに悩まされていることが示され、これはモデルが以前のクライアントから学んだ知識を忘れがちであることを意味する。 この問題に対処するため,SFedKDと呼ばれる,差分を意識した多教師知識蒸留を行うSFLフレームワークを提案する。 SFedKDでは,教師データと学生データとのクラス分布の相違から,教師の目標クラスと目標クラス以外の知識に異なる重みを割り当てる。 この微細な重み付け戦略により、SFedKDは破滅的忘れを緩和しながらモデルの訓練効果を高めることができる。 さらに,知識の希釈を防止するため,知識蒸留の余分な教師を排除し,最大カバレッジ問題の変種として定式化する。 本手法は,コミュニケーションと計算コストの削減を図りながら,選択した教師が包括的知識空間をカバーできるように,補完的な教師選択機構を設計する。 大規模な実験により、SFedKDはSFLの破滅的な忘れを効果的に克服し、最先端のFL法より優れていることが示された。

関連論文リスト

• Learning Critically: Selective Self Distillation in Federated Learning on Non-IID Data [17.624808621195978]
  フェデレートラーニングのための選択的自己蒸留法(FedSSD)を提案する。 FedSSDは、グローバルモデルの知識を自己蒸留することで、ローカル更新に適応的な制約を課している。 他の最先端のFL法と比較して、より少ない通信ラウンドでの一般化と堅牢性を実現する。
  論文  参考訳（メタデータ） (2025-04-20T18:06:55Z)
• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• UA-PDFL: A Personalized Approach for Decentralized Federated Learning [5.065947993017158]
  フェデレートラーニング(Federated Learning, FL)は、データ漏洩なしにグローバルモデルを協調的に学習するように設計された、プライバシ保護機械学習パラダイムである。 この問題を軽減するために、分散統合学習(DFL)が提案され、すべてのクライアントが中央サーバなしでピアツーピア通信を行う。 我々は,DFLにおける非IID課題に対処するため,UA-PDFLという,分散化された分散学習フレームワークを支援する新しい単位表現を提案する。
  論文  参考訳（メタデータ） (2024-12-16T11:27:35Z)
• De-VertiFL: A Solution for Decentralized Vertical Federated Learning [7.877130417748362]
  この研究は、分散VFL設定でモデルをトレーニングするための新しいソリューションであるDe-VertiFLを紹介している。 De-VertiFLは、新しいネットワークアーキテクチャディストリビューション、革新的な知識交換スキーム、分散フェデレーショントレーニングプロセスを導入することで貢献する。 その結果、De-VertiFLは一般的にF1スコアのパフォーマンスにおいて最先端のメソッドを上回り、分散化とプライバシ保護のフレームワークを維持していることがわかった。
  論文  参考訳（メタデータ） (2024-10-08T15:31:10Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。