論文の概要: Unlocking the Potential of Federated Learning: The Symphony of Dataset
Distillation via Deep Generative Latents
- arxiv url: http://arxiv.org/abs/2312.01537v1
- Date: Sun, 3 Dec 2023 23:30:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 17:00:54.168365
- Title: Unlocking the Potential of Federated Learning: The Symphony of Dataset
Distillation via Deep Generative Latents
- Title（参考訳）: フェデレーション学習の可能性の解き放つ:深部生成潜伏者によるデータセット蒸留のシンフォニー
- Authors: Yuqi Jia and Saeed Vahidian and Jingwei Sun and Jianyi Zhang and
Vyacheslav Kungurtsev and Neil Zhenqiang Gong and Yiran Chen
- Abstract要約: 本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。
従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。
我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
- 参考スコア（独自算出の注目度）: 43.282328554697564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data heterogeneity presents significant challenges for federated learning
(FL). Recently, dataset distillation techniques have been introduced, and
performed at the client level, to attempt to mitigate some of these challenges.
In this paper, we propose a highly efficient FL dataset distillation framework
on the server side, significantly reducing both the computational and
communication demands on local devices while enhancing the clients' privacy.
Unlike previous strategies that perform dataset distillation on local devices
and upload synthetic data to the server, our technique enables the server to
leverage prior knowledge from pre-trained deep generative models to synthesize
essential data representations from a heterogeneous model architecture. This
process allows local devices to train smaller surrogate models while enabling
the training of a larger global model on the server, effectively minimizing
resource utilization. We substantiate our claim with a theoretical analysis,
demonstrating the asymptotic resemblance of the process to the hypothetical
ideal of completely centralized training on a heterogeneous dataset. Empirical
evidence from our comprehensive experiments indicates our method's superiority,
delivering an accuracy enhancement of up to 40% over non-dataset-distillation
techniques in highly heterogeneous FL contexts, and surpassing existing
dataset-distillation methods by 18%. In addition to the high accuracy, our
framework converges faster than the baselines because rather than the server
trains on several sets of heterogeneous data distributions, it trains on a
multi-modal distribution. Our code is available at
https://github.com/FedDG23/FedDG-main.git
- Abstract（参考訳）: データの不均一性は、連邦学習(FL)に重大な課題をもたらす。
近年,これらの課題を緩和するために,データセット蒸留技術が導入され,クライアントレベルで実施されている。
本稿では,サーバ側で高効率なflデータセット蒸留フレームワークを提案し,クライアントのプライバシを向上しつつ,ローカルデバイスにおける計算と通信の要求を大幅に削減する。
ローカルデバイス上でデータセットの蒸留を行い、サーバに合成データをアップロードする従来の戦略とは異なり、この手法により、事前訓練された深層生成モデルからの事前知識を活用して、ヘテロジニアスモデルアーキテクチャから本質的なデータ表現を合成することができる。
このプロセスにより、ローカルデバイスはより小さなサロゲートモデルをトレーニングし、サーバ上のより大きなグローバルモデルのトレーニングを可能にし、リソース利用を効果的に最小化する。
我々は,不均質なデータセット上での完全集中型トレーニングの仮説的理想に対する過程の漸近的類似性を示す理論解析を用いて,我々の主張を裏付ける。
包括的実験から得られた実証的証拠は,本手法の優位性を示し,高度に不均一なFL環境での非データセット蒸留技術よりも40%の精度向上を実現し,既存のデータセット蒸留手法を18%超えた。
高い精度に加えて、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、我々のフレームワークはベースラインよりも早く収束する。
私たちのコードはhttps://github.com/FedDG23/FedDG-main.gitで利用可能です。
関連論文リスト
- Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-24T13:30:03Z) - FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。
我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。
我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文 参考訳（メタデータ） (2024-05-27T15:25:32Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。
本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。
本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
論文 参考訳（メタデータ） (2024-03-25T16:49:38Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳（メタデータ） (2023-09-24T04:29:22Z) - Federated Virtual Learning on Heterogeneous Data with Local-global
Distillation [17.998623216905496]
局所グロバル蒸留(FedLGD)を用いた不均一データのフェデレーションバーチャルラーニング
局所Global Distillation (FedLGD) を用いた不均一データに対するフェデレーション仮想学習法を提案する。
提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2023-03-04T00:35:29Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。