論文の概要: GPT-FL: Generative Pre-trained Model-Assisted Federated Learning

• arxiv url: http://arxiv.org/abs/2306.02210v4
• Date: Tue, 18 Jun 2024 01:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-20 05:23:38.635014
• Title: GPT-FL: Generative Pre-trained Model-Assisted Federated Learning
• Title（参考訳）: GPT-FL: モデル支援フェデレーション学習の生成
• Authors: Tuo Zhang, Tiantian Feng, Samiul Alam, Dimitrios Dimitriadis, Sunwoo Lee, Mi Zhang, Shrikanth S. Narayanan, Salman Avestimehr,
• Abstract要約: GPT-FLは、生成学習モデル支援フェデレーション学習フレームワークである。 モデルテスト精度、通信効率、クライアントサンプリング効率の点で、最先端のFL法を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 40.522864349440674
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we propose GPT-FL, a generative pre-trained model-assisted federated learning (FL) framework. At its core, GPT-FL leverages generative pre-trained models to generate diversified synthetic data. These generated data are used to train a downstream model on the server, which is then fine-tuned with private client data under the standard FL framework. We show that GPT-FL consistently outperforms state-of-the-art FL methods in terms of model test accuracy, communication efficiency, and client sampling efficiency. Through comprehensive ablation analysis across various data modalities, we discover that the downstream model generated by synthetic data plays a crucial role in controlling the direction of gradient diversity during FL training, which enhances convergence speed and contributes to the notable accuracy boost observed with GPT-FL. Also, regardless of whether the target data falls within or outside the domain of the pre-trained generative model, GPT-FL consistently achieves significant performance gains, surpassing the results obtained by models trained solely with FL or synthetic data. The code is available at https://github.com/AvestimehrResearchGroup/GPT-FL.
• Abstract（参考訳）: 本稿では,GPT-FLを提案する。 中心となるGPT-FLは、生成事前訓練されたモデルを利用して、多様化された合成データを生成する。 これらの生成されたデータは、サーバ上のダウンストリームモデルをトレーニングするために使用され、その後、標準FLフレームワークの下でプライベートクライアントデータで微調整される。 GPT-FLは、モデルテスト精度、通信効率、クライアントサンプリング効率において、最先端のFL法よりも一貫して優れていることを示す。 様々なデータモダリティの包括的アブレーション解析により,合成データによって生成された下流モデルが,収束速度を高め,GPT-FLで観測される顕著な精度向上に寄与するFLトレーニングにおいて,勾配の多様性の方向を制御する上で重要な役割を担っていることがわかった。 また、対象データが事前学習された生成モデルの領域内または外部に該当するか否かにかかわらず、GPT-FLは、FLまたは合成データでのみ訓練されたモデルによって得られた結果よりも、一貫して顕著な性能向上を達成する。 コードはhttps://github.com/AvestimehrResearchGroup/GPT-FLで公開されている。

関連論文リスト

• Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation [5.342190657553561]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的にトレーニングすることを可能にする。 ゼロ階勾配推定(FedZGE)によるデータフリーでブラックボックスなFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-08T03:00:01Z)
• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
  不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。 我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
  論文  参考訳（メタデータ） (2024-01-06T14:43:47Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。