論文の概要: FedSDD: Scalable and Diversity-enhanced Distillation for Model
Aggregation in Federated Learning
- arxiv url: http://arxiv.org/abs/2312.17029v1
- Date: Thu, 28 Dec 2023 14:10:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 16:12:30.034548
- Title: FedSDD: Scalable and Diversity-enhanced Distillation for Model
Aggregation in Federated Learning
- Title（参考訳）: FedSDD:フェデレーション学習におけるモデル集約のための拡張性と多様性強化蒸留
- Authors: Ho Man Kwan, Shenghui Song
- Abstract要約: 本稿では,フェデレーション学習のためのスケーラブルで多様性に富んだフェデレーション蒸留方式であるFedSDDを提案する。
FedSDDは、スケーラビリティを高めるために、クライアントの数からトレーニングの複雑さを分離し、集約されたモデルの集合からアンサンブルを構築する。
実験の結果、FedSDDはベンチマークデータセット上でFedAvgやFedDFなど他のFLメソッドよりも優れていた。
- 参考スコア（独自算出の注目度）: 15.39242780506777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, innovative model aggregation methods based on knowledge
distillation (KD) have been proposed for federated learning (FL). These methods
not only improved the robustness of model aggregation over heterogeneous
learning environment, but also allowed training heterogeneous models on client
devices. However, the scalability of existing methods is not satisfactory,
because the training cost on the server increases with the number of clients,
which limits their application in large scale systems. Furthermore, the
ensemble of existing methods is built from a set of client models initialized
from the same checkpoint, causing low diversity. In this paper, we propose a
scalable and diversity-enhanced federated distillation scheme, FedSDD, which
decouples the training complexity from the number of clients to enhance the
scalability, and builds the ensemble from a set of aggregated models with
enhanced diversity. In particular, the teacher model in FedSDD is an ensemble
built by a small group of aggregated (global) models, instead of all client
models, such that the computation cost will not scale with the number of
clients. Furthermore, to enhance diversity, FedSDD only performs KD to enhance
one of the global models, i.e., the \textit{main global model}, which improves
the performance of both the ensemble and the main global model. While
partitioning client model into more groups allow building an ensemble with more
aggregated models, the convergence of individual aggregated models will be slow
down. We introduce the temporal ensembling which leverage the issues, and
provide significant improvement with the heterogeneous settings. Experiment
results show that FedSDD outperforms other FL methods, including FedAvg and
FedDF, on the benchmark datasets.
- Abstract（参考訳）: 近年,知識蒸留(KD)に基づく新しいモデル集約手法が,連邦学習(FL)において提案されている。
これらの手法は、異種学習環境におけるモデルアグリゲーションの堅牢性を向上するだけでなく、クライアントデバイス上で異種モデルのトレーニングを可能にした。
しかし、既存のメソッドのスケーラビリティは、クライアントの数が増えるにつれてサーバのトレーニングコストが増加し、大規模システムでのアプリケーションの利用が制限されるため、満足できない。
さらに、既存のメソッドのアンサンブルは同じチェックポイントから初期化された一連のクライアントモデルから構築され、多様性が低い。
本稿では,拡張性を高めるために,クライアント数からトレーニングの複雑さを分離し,多様性を高めた一連の集約モデルからアンサンブルを構築する,スケーラブルで多様性が強化されたフェデレート蒸留スキームfeedsddを提案する。
特に、FedSDDの教師モデルは、全てのクライアントモデルではなく、集約された(グローバルな)モデルの小さなグループによって構築されたアンサンブルであり、計算コストはクライアントの数に比例しない。
さらに多様性を高めるため、FedSDDはKDのみを実行してグローバルモデルの1つ、すなわち、アンサンブルとメイングローバルモデルの両方のパフォーマンスを改善する「textit{main global model}」を強化する。
クライアントモデルをより多くのグループに分割することで、より集約されたモデルでアンサンブルを構築することができるが、個々の集約モデルの収束は遅くなる。
課題を生かした時間的アンサンブルを導入し、異種設定による大幅な改善を提供する。
実験の結果、FedSDDはベンチマークデータセット上でFedAvgやFedDFなど他のFLメソッドよりも優れていた。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning [13.393529840544117]
既存のパーソナライズされた学習モデルでは、学習モデルの性能を改善するために、類似したクライアントを同様のデータ分散で集約するのが好ましい。
本稿では,動的親和性に基づく個人化フェデレーション学習モデル(DA-PFL)を提案する。
論文 参考訳（メタデータ） (2024-03-14T11:12:10Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳（メタデータ） (2024-02-23T03:15:10Z) - Mitigating System Bias in Resource Constrained Asynchronous Federated
Learning Systems [2.8790600498444032]
本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。
提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
論文 参考訳（メタデータ） (2024-01-24T10:51:15Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。