論文の概要: GPT-FL: Generative Pre-trained Model-Assisted Federated Learning
- arxiv url: http://arxiv.org/abs/2306.02210v3
- Date: Fri, 29 Sep 2023 19:21:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 17:37:23.504385
- Title: GPT-FL: Generative Pre-trained Model-Assisted Federated Learning
- Title(参考訳): GPT-FL: モデル支援フェデレーション学習の生成
- Authors: Tuo Zhang, Tiantian Feng, Samiul Alam, Dimitrios Dimitriadis, Mi
Zhang, Shrikanth S. Narayanan, Salman Avestimehr
- Abstract要約: GPT-FLは、生成学習モデル支援フェデレーション学習フレームワークである。
GPT-FLは、モデルテスト精度、通信効率、クライアントサンプリング効率において、最先端のFL法よりも一貫して優れていることを示す。
- 参考スコア(独自算出の注目度): 39.737523728435804
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we propose GPT-FL, a generative pre-trained model-assisted
federated learning (FL) framework. At its core, GPT-FL leverages generative
pre-trained models to generate diversified synthetic data. These generated data
are used to train a downstream model on the server, which is then fine-tuned
with private client data under the standard FL framework. We show that GPT-FL
consistently outperforms state-of-the-art FL methods in terms of model test
accuracy, communication efficiency, and client sampling efficiency. Through
comprehensive ablation analysis, we discover that the downstream model
generated by synthetic data plays a crucial role in controlling the direction
of gradient diversity during FL training, which enhances convergence speed and
contributes to the notable accuracy boost observed with GPT-FL. Also,
regardless of whether the target data falls within or outside the domain of the
pre-trained generative model, GPT-FL consistently achieves significant
performance gains, surpassing the results obtained by models trained solely
with FL or synthetic data.
- Abstract(参考訳): 本稿では,gpt-flを提案する。これは生成型事前学習モデル支援連合学習(fl)フレームワークである。
GPT-FLは、生成前訓練されたモデルを利用して、多様化された合成データを生成する。
これらの生成されたデータは、サーバ上のダウンストリームモデルをトレーニングするために使用され、標準のflフレームワークの下でプライベートクライアントデータと微調整される。
gpt-flは, モデルテストの精度, 通信効率, クライアントサンプリング効率の点で, 最先端fl法を一貫して上回っている。
総合的アブレーション解析により, 合成データによって生成された下流モデルが, gpt-flで観測された顕著な精度向上に寄与し, flトレーニング中の勾配多様性の方向を制御する上で重要な役割を担っていることを見出した。
また、目標データが事前訓練された生成モデルの領域内か外部かにかかわらず、gpt-flは、flまたは合成データのみで訓練されたモデルによって得られた結果よりも、一貫して著しい性能向上を達成している。
関連論文リスト
- FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced
Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。
我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
論文 参考訳(メタデータ) (2024-01-06T14:43:47Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Personalized Federated Learning via ADMM with Moreau Envelope [12.400454951493565]
モローエンベロープ(FLAME)を用いたPFLモデルの学習のための乗算器(ADMM)の交互方向法を提案する。
我々の理論的分析は、偏りのないクライアント選択戦略と偏りのないクライアント選択戦略の両方の下で、グローバル収束を確立する。
実験により、FLAMEは、異種データに基づいて訓練された場合、モデル性能の点で最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-11-12T07:13:37Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳(メタデータ) (2023-10-13T15:21:25Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。
本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。
FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文 参考訳(メタデータ) (2021-08-20T12:08:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。