論文の概要: A Practical Data-Free Approach to One-shot Federated Learning with
Heterogeneity
- arxiv url: http://arxiv.org/abs/2112.12371v1
- Date: Thu, 23 Dec 2021 05:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 14:23:41.768447
- Title: A Practical Data-Free Approach to One-shot Federated Learning with
Heterogeneity
- Title(参考訳): 不均一性をもつワンショットフェデレート学習におけるデータフリーな実践的アプローチ
- Authors: Jie Zhang, Chen Chen, Bo Li, Lingjuan Lyu, Shuang Wu, Jianghe Xu,
Shouhong Ding, Chao Wu
- Abstract要約: ワンショットフェデレートラーニング(FL)は、最近、有望なアプローチとして登場した。
本稿では,FedSyn という,より実用的なデータフリーアプローチを提案する。
我々のFedSynは、データ生成段階とモデル蒸留段階によってグローバルモデルを訓練する。
- 参考スコア(独自算出の注目度): 19.95229288474639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-shot Federated Learning (FL) has recently emerged as a promising
approach, which allows the central server to learn a model in a single
communication round. Despite the low communication cost, existing one-shot FL
methods are mostly impractical or face inherent limitations, e.g., a public
dataset is required, clients' models are homogeneous, need to upload additional
data/model information. To overcome these issues, we propose a more practical
data-free approach named FedSyn for one-shot FL framework with heterogeneity.
Our FedSyn trains the global model by a data generation stage and a model
distillation stage. To the best of our knowledge, FedSyn is the first method
that can be practically applied to various real-world applications due to the
following advantages: (1) FedSyn requires no additional information (except the
model parameters) to be transferred between clients and the server; (2) FedSyn
does not require any auxiliary dataset for training; (3) FedSyn is the first to
consider both model and statistical heterogeneities in FL, i.e., the clients'
data are non-iid and different clients may have different model architectures.
Experiments on a variety of real-world datasets demonstrate the superiority of
our FedSyn. For example, FedSyn outperforms the best baseline method Fed-ADI by
5.08% on CIFAR10 dataset when data are non-iid.
- Abstract(参考訳): ワンショット連合学習(one-shot federated learning, fl)は、中央サーバが単一の通信ラウンドでモデルを学習できるようにする、有望なアプローチとして最近登場した。
通信コストは低いが、既存のワンショットflメソッドはほとんど実用的ではなく、例えばパブリックデータセットが必要な場合、クライアントのモデルは均質であり、追加のデータ/モデルの情報をアップロードする必要がある。
これらの問題を克服するため、不均一な一発FLフレームワークに対してFedSynというより実用的なデータフリーアプローチを提案する。
我々のFedSynは、データ生成段階とモデル蒸留段階によってグローバルモデルを訓練する。
To the best of our knowledge, FedSyn is the first method that can be practically applied to various real-world applications due to the following advantages: (1) FedSyn requires no additional information (except the model parameters) to be transferred between clients and the server; (2) FedSyn does not require any auxiliary dataset for training; (3) FedSyn is the first to consider both model and statistical heterogeneities in FL, i.e., the clients' data are non-iid and different clients may have different model architectures.
さまざまな実世界のデータセットの実験は、FedSynの優位性を示しています。
例えば、FedSynはデータが非IDである場合、CIFAR10データセットでFed-ADIを5.08%上回っている。
関連論文リスト
- FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Training Heterogeneous Client Models using Knowledge Distillation in
Serverless Federated Learning [0.5510212613486574]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。
効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
論文 参考訳(メタデータ) (2024-02-11T20:15:52Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳(メタデータ) (2024-02-02T19:34:46Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳(メタデータ) (2022-11-20T06:13:06Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳(メタデータ) (2022-06-21T17:23:06Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T05:18:32Z) - FedSynth: Gradient Compression via Synthetic Data in Federated Learning [14.87215762562876]
モデル更新を送信するのではなく,各クライアントが学習し,軽量な合成データセットを送信する,上流通信のための新しい手法を提案する。
我々の手法は,3つの共通学習ベンチマークデータセットのすべてにおいて,ランダムマスキングベースラインに匹敵する/劣ることがわかった。
論文 参考訳(メタデータ) (2022-04-04T06:47:20Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - FedFMC: Sequential Efficient Federated Learning on Non-iid Data [0.0]
FedFMC(Fork-Consolidate-Merge)は、異なるグローバルモデルの更新をデバイスに強制してマージし、別々のモデルをひとつに統合する手法である。
我々はFedFMCが、グローバルに共有されたデータのサブセットを用いることなく、また通信コストを増大させることなく、フェデレーション学習コンテキストにおける非IDデータに対する以前のアプローチを大幅に改善したことを示す。
論文 参考訳(メタデータ) (2020-06-19T02:36:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。