論文の概要: Federated Generative Learning with Foundation Models
- arxiv url: http://arxiv.org/abs/2306.16064v1
- Date: Wed, 28 Jun 2023 09:52:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 14:46:21.388584
- Title: Federated Generative Learning with Foundation Models
- Title(参考訳): 基礎モデルを用いたフェデレーション生成学習
- Authors: Jie Zhang, Xiaohua Qi, Bo Zhao
- Abstract要約: 本稿では,クライアントとサーバ間の分散トレーニングデータに関連するプロンプトを伝達する,新しいフェデレーション学習フレームワークであるフェデレーション生成学習を提案する。
情報的トレーニングデータは、プライバシーと基礎生成モデルを含む受信したプロンプトに基づいて遠隔で合成することができる。
新しいフレームワークには、通信効率の向上、分散移行に対するレジリエンスの向上、大幅なパフォーマンス向上、プライバシー保護の強化など、さまざまなメリットがある。
- 参考スコア(独自算出の注目度): 7.557587776081281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing federated learning solutions focus on transmitting features,
parameters or gadients between clients and server, which suffer from serious
low-efficiency and privacy-leakage problems. Thanks to the emerging foundation
generative models, we propose a novel federated learning framework, namely
Federated Generative Learning, that transmits prompts associated with
distributed training data between clients and server. The informative training
data can be synthesized remotely based on received prompts containing little
privacy and the foundation generative models. The new framework possesses
multiple advantages, including improved communication efficiency, better
resilience to distribution shift, substantial performance gains, and enhanced
privacy protection, which are verified in extensive experiments on ImageNet and
DomainNet datasets.
- Abstract(参考訳): 既存のフェデレートされた学習ソリューションは、クライアントとサーバの間で機能やパラメータ、ガディアンを伝達することに重点を置いている。
新たな基礎生成モデルのおかげで、クライアントとサーバ間で分散トレーニングデータに関連するプロンプトを送信する、新しいフェデレーション学習フレームワーク、federated generative learningを提案する。
情報学習データは、プライバシーと基礎生成モデルを含む受信したプロンプトに基づいて遠隔で合成することができる。
新しいフレームワークには、通信効率の向上、分散シフトへのレジリエンス向上、実質的なパフォーマンス向上、imagenetとdomainnetデータセットの広範な実験で検証されたプライバシー保護強化など、複数のメリットがある。
関連論文リスト
- Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T07:04:48Z) - One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。
本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。
FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文 参考訳(メタデータ) (2023-11-15T11:11:25Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳(メタデータ) (2023-05-19T05:39:40Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Aggregation Service for Federated Learning: An Efficient, Secure, and
More Resilient Realization [22.61730495802799]
本稿では,学習過程を通じて個々のモデル更新を効率よく保護するシステム設計を提案する。
本システムは,実用性能で,ベースラインに匹敵する精度を実現している。
論文 参考訳(メタデータ) (2022-02-04T05:03:46Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - FedGEMS: Federated Learning of Larger Server Models via Selective
Knowledge Fusion [19.86388925556209]
フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。
本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
論文 参考訳(メタデータ) (2021-10-21T10:06:44Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳(メタデータ) (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。