論文の概要: CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in
Federated Learning
- arxiv url: http://arxiv.org/abs/2204.01542v1
- Date: Mon, 4 Apr 2022 14:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 18:33:55.024722
- Title: CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in
Federated Learning
- Title（参考訳）: CDKT-FL:フェデレーション学習におけるプロキシデータセットを用いたデバイス間知識伝達
- Authors: Minh N. H. Nguyen, Huy Q. Le, Shashi Raj Pandey, Choong Seon Hong
- Abstract要約: 我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
- 参考スコア（独自算出の注目度）: 19.4810285821324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In a practical setting towards better generalization abilities of client
models for realizing robust personalized Federated Learning (FL) systems,
efficient model aggregation methods have been considered as a critical research
objective. It is a challenging issue due to the consequences of non-i.i.d.
properties of client's data, often referred to as statistical heterogeneity and
small local data samples from the various data distributions. Therefore, to
develop robust generalized global and personalized models, conventional FL
methods need redesigning the knowledge aggregation from biased local models
while considering huge divergence of learning parameters due to skewed client
data. In this work, we demonstrate that the knowledge transfer mechanism is a
de facto technique to achieve these objectives and develop a novel knowledge
distillation-based approach to study the extent of knowledge transfer between
the global model and local models. Henceforth, our method considers the
suitability of transferring the outcome distribution and (or) the embedding
vector of representation from trained models during cross-device knowledge
transfer using a small proxy dataset in heterogeneous FL. In doing so, we
alternatively perform cross-device knowledge transfer following general
formulations as 1) global knowledge transfer and 2) on-device knowledge
transfer. Through simulations on four federated datasets, we show the proposed
method achieves significant speedups and high personalized performance of local
models. Furthermore, the proposed approach offers a more stable algorithm than
FedAvg during the training, with minimal communication data load when
exchanging the trained model's outcomes and representation.
- Abstract（参考訳）: 堅牢なパーソナライズされたフェデレーション学習(FL)システムを実現するためのクライアントモデルの一般化能力向上に向けて、効率的なモデルアグリゲーション手法が重要な研究目的として検討されている。
クライアントのデータの非i.i.d.特性が、様々なデータ分布から統計的な異質性と小さなローカルデータサンプルとしてしばしば参照されるため、これは困難な問題である。
したがって,グローバルモデルやパーソナライズドモデルを開発するためには,従来のFL手法では,ゆがんだクライアントデータによる学習パラメータの大きなばらつきを考慮しつつ,バイアス付きローカルモデルから知識集約を再設計する必要がある。
本研究では,これらの目的を達成するためのデファクト手法である知識伝達機構を実証し,グローバルモデルと局所モデル間の知識伝達の程度を調べるための新しい知識蒸留ベースの手法を開発する。
そこで本手法は,異種FLの小さなプロキシデータセットを用いて,デバイス間知識転送時にトレーニングされたモデルから結果分布の転送と(あるいは)表現の埋め込みベクタを適当に検討する。
代わりに、一般的な定式化に従ってデバイス間知識伝達を行う。
1)グローバルな知識移転
2)デバイス上の知識伝達。
4つのフェデレーションデータセットのシミュレーションにより,提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
さらに、提案手法は、トレーニング中のFedAvgよりも安定したアルゴリズムを提供し、訓練されたモデルの結果と表現を交換する際の通信データの負荷を最小限に抑える。
関連論文リスト
- DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。
我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。
モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
論文 参考訳（メタデータ） (2024-09-08T05:53:32Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳（メタデータ） (2022-11-14T13:59:50Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Data-Free Knowledge Distillation for Heterogeneous Federated Learning [31.364314540525218]
Federated Learning(FL)は、グローバルサーバがデータにアクセスせずに、ローカルユーザのモデルパラメータを反復的に平均する分散機械学習パラダイムである。
知識蒸留(Knowledge Distillation)は、異種ユーザからの集約された知識を使用してサーバモデルを精錬することによって、この問題に対処するために最近登場した。
異種FLに対処するデータフリーな知識蒸留手法を提案し,サーバはユーザ情報をデータフリーでアンサンブルするための軽量なジェネレータを学習する。
論文 参考訳（メタデータ） (2021-05-20T22:30:45Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。