論文の概要: FedeKD: Energy-Based Gating for Robust Federated Knowledge Distillation under Heterogeneous Settings

• arxiv url: http://arxiv.org/abs/2605.05553v1
• Date: Thu, 07 May 2026 01:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.467076
• Title: FedeKD: Energy-Based Gating for Robust Federated Knowledge Distillation under Heterogeneous Settings
• Title（参考訳）: FedeKD:不均一条件下でのロバストなフェデレーション知識蒸留のためのエネルギーベースゲーティング
• Authors: Quang-Huy Nguyen, Jiaqi Wang, Wei-shinn Ku,
• Abstract要約: FedeKDは信頼性を意識したFKDフレームワークで、知識伝達の明示的なコンポーネントとして、サンプル単位の信頼推定を行う。 6つの実世界のデータセットの実験により、フェデKDは異種環境下での負の移動を著しく減少させることが示された。
• 参考スコア（独自算出の注目度）: 15.145977202997768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) operates in heterogeneous environments, where variations in data distributions and asymmetric model design often result in negative transfer. While federated knowledge distillation (FKD) avoids direct model parameter sharing, existing methods typically rely on public datasets or assume that transferred knowledge is uniformly reliable, which limits their robustness in practice. This paper presents FedeKD, a reliability-aware FKD framework that makes sample-wise trust estimation an explicit component of knowledge transfer, without relying on additional public data. Each client maintains a high-capacity private model for local learning and a lightweight shared proxy model for cross-client knowledge exchange. During training, proxy models are aggregated on the server to form a global proxy, which is then used to guide updates of the private models. At the core of FedeKD is an energy-based gating mechanism that converts task-specific private-proxy disagreement into sample-wise trust weights for backward distillation. This mechanism enables sample-wise weighting of knowledge transfer, where the proxy model contributes more to reliable samples while down-weighting unreliable ones. Extensive experiments on six real-world datasets demonstrate that FedeKD significantly reduces negative transfer under heterogeneous settings while maintaining strong predictive performance.
• Abstract（参考訳）: フェデレートラーニング(FL)は異種環境で動作し、データ分布や非対称モデル設計のバリエーションは、しばしば負の伝達をもたらす。 連合知識蒸留(FKD)は直接モデルパラメータの共有を避けるが、既存の手法は一般に公開データセットに依存したり、転送された知識が一様に信頼できると仮定する。 本稿では,信頼度を考慮したFKDフレームワークであるFedeKDを提案する。 各クライアントは、ローカル学習のための高容量プライベートモデルと、クロスクライアントな知識交換のための軽量な共有プロキシモデルを維持している。 トレーニング中、プロキシモデルをサーバに集約してグローバルプロキシを生成し、プライベートモデルの更新をガイドする。 フェデKDの核心はエネルギーベースのゲーティング機構であり、タスク固有のプライベートプロオキシ不一致を後方蒸留のための試料単位の信頼度に変換する。 このメカニズムは知識伝達のサンプルワイド重み付けを可能にし、プロキシモデルは信頼性の高いサンプルにより多くの貢献をし、信頼できないものを下降させる。 6つの実世界のデータセットに対する大規模な実験により、FedeKDは強い予測性能を維持しながら、異種環境下での負の移動を著しく減少させることが示された。

関連論文リスト

• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Byzantine-Robust Federated Learning Using Generative Adversarial Networks [1.4091801425319963]
  フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にするが、その堅牢性は、データやモデル中毒といったビザンチンの行動によって脅かされている。 本稿では,クライアントの更新を検証するための代表データを生成するために,サーバ上の条件付き生成逆ネットワーク(cGAN)を活用することで,これらの課題に対処する防衛フレームワークを提案する。 このアプローチは、外部データセットへの依存を排除し、多様な攻撃戦略に適応し、標準FLにシームレスに統合する。
  論文  参考訳（メタデータ） (2025-03-26T18:00:56Z)
• HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast [10.652998357266934]
  データフリーな知識蒸留と双方向コントラスト(HFedCKD)に基づくヘテロジニアスフェデレーション方式を提案する。 HFedCKDは、データフリーな知識蒸留における低い参加率による知識オフセットを効果的に軽減し、モデルの性能と安定性を向上させる。 我々は画像とIoTデータセットに関する広範な実験を行い、提案したHFedCKDフレームワークの一般化と堅牢性を包括的に評価し、検証する。
  論文  参考訳（メタデータ） (2025-03-09T08:32:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning [20.135235291912185]
  Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。 本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
  論文  参考訳（メタデータ） (2023-09-24T04:29:22Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedRAD: Federated Robust Adaptive Distillation [7.775374800382709]
  一般的にモデルの更新を集約するコラボレーション学習フレームワークは、敵のクライアントによる毒殺攻撃のモデルに対して脆弱である。 本稿では,新たなロバスト適応蒸留法 (FedRAD) を提案する。 その結果,FedRADは敵の存在や異種データ分布において,他のアグリゲータよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-02T16:50:57Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。