論文の概要: FedBKD: Distilled Federated Learning to Embrace Gerneralization and Personalization on Non-IID Data

• arxiv url: http://arxiv.org/abs/2506.20245v1
• Date: Wed, 25 Jun 2025 08:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.662651
• Title: FedBKD: Distilled Federated Learning to Embrace Gerneralization and Personalization on Non-IID Data
• Title（参考訳）: FedBKD:IID以外のデータを用いた老化とパーソナライズのためのフェデレーション学習
• Authors: Yushan Zhao, Jinyuan He, Donglai Chen, Weijie Luo, Chong Xie, Ri Zhang, Yonghong Chen, Yan Xu,
• Abstract要約: Federated Learning(FL)は、分散協調機械学習(ML)技術である。 FLの大きな課題のひとつは、IDを持たない、独立した分散データ(非IID)を扱うことだ。 我々は、新しいデータフリー蒸留フレームワークFederated Bidirectional Knowledge Distillation (FedBKD)を提案する。
• 参考スコア（独自算出の注目度）: 3.5168489264149527
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) is a decentralized collaborative machine learning (ML) technique. It provides a solution to the issues of isolated data islands and data privacy leakage in industrial ML practices. One major challenge in FL is handling the non-identical and independent distributed (non-IID) data. Current solutions either focus on constructing an all-powerful global model, or customizing personalized local models. Few of them can provide both a well-generalized global model and well-performed local models at the same time. Additionally, many FL solutions to the non-IID problem are benefited from introducing public datasets. However, this will also increase the risk of data leakage. To tackle the problems, we propose a novel data-free distillation framework, Federated Bidirectional Knowledge Distillation (FedBKD). Specifically, we train Generative Adversarial Networks (GAN) for synthetic data. During the GAN training, local models serve as discriminators and their parameters are frozen. The synthetic data is then used for bidirectional distillation between global and local models to achieve knowledge interactions so that performances for both sides are improved. We conduct extensive experiments on 4 benchmarks under different non-IID settings. The results show that FedBKD achieves SOTA performances in every case.
• Abstract（参考訳）: Federated Learning(FL)は、分散協調機械学習(ML)技術である。 産業MLの実践において、孤立したデータアイランドの問題とデータプライバシの漏洩に対するソリューションを提供する。 FLの大きな課題のひとつは、IDを持たない、独立した分散データ(非IID)を扱うことだ。 現在のソリューションは、すべて強力なグローバルモデルの構築に注力するか、あるいはパーソナライズされたローカルモデルをカスタマイズする。 十分に一般化されたグローバルモデルと、高性能なローカルモデルの両方を同時に提供できるものはほとんどない。 さらに、非IID問題に対する多くのFLソリューションは、パブリックデータセットの導入の恩恵を受けている。 しかし、これはデータ漏洩のリスクを増大させる。 そこで本研究では,データフリー蒸留フレームワークFederated Bidirectional Knowledge Distillation (FedBKD)を提案する。 具体的には,合成データに対してGAN(Generative Adversarial Networks)を訓練する。 GANトレーニング中、ローカルモデルは識別器として機能し、それらのパラメータは凍結される。 合成データをグローバルモデルとローカルモデル間の双方向蒸留に利用して知識相互作用を実現し,両面のパフォーマンスを向上する。 非IID設定の異なる4つのベンチマークで広範な実験を行う。 その結果,FedBKDはすべてのケースでSOTA性能を達成できた。

関連論文リスト

• Learning Critically: Selective Self Distillation in Federated Learning on Non-IID Data [17.624808621195978]
  フェデレートラーニングのための選択的自己蒸留法(FedSSD)を提案する。 FedSSDは、グローバルモデルの知識を自己蒸留することで、ローカル更新に適応的な制約を課している。 他の最先端のFL法と比較して、より少ない通信ラウンドでの一般化と堅牢性を実現する。
  論文  参考訳（メタデータ） (2025-04-20T18:06:55Z)
• One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
  One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。 我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
  論文  参考訳（メタデータ） (2024-12-06T17:05:34Z)
• MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning [1.2726316791083532]
  Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。 FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。 非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
  論文  参考訳（メタデータ） (2024-04-20T16:38:26Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。