論文の概要: Federated Generative Learning with Foundation Models
- arxiv url: http://arxiv.org/abs/2306.16064v1
- Date: Wed, 28 Jun 2023 09:52:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 14:46:21.388584
- Title: Federated Generative Learning with Foundation Models
- Title(参考訳): 基礎モデルを用いたフェデレーション生成学習
- Authors: Jie Zhang, Xiaohua Qi, Bo Zhao
- Abstract要約: 本稿では,クライアントとサーバ間の分散トレーニングデータに関連するプロンプトを伝達する,新しいフェデレーション学習フレームワークであるフェデレーション生成学習を提案する。
情報的トレーニングデータは、プライバシーと基礎生成モデルを含む受信したプロンプトに基づいて遠隔で合成することができる。
新しいフレームワークには、通信効率の向上、分散移行に対するレジリエンスの向上、大幅なパフォーマンス向上、プライバシー保護の強化など、さまざまなメリットがある。
- 参考スコア(独自算出の注目度): 7.557587776081281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing federated learning solutions focus on transmitting features,
parameters or gadients between clients and server, which suffer from serious
low-efficiency and privacy-leakage problems. Thanks to the emerging foundation
generative models, we propose a novel federated learning framework, namely
Federated Generative Learning, that transmits prompts associated with
distributed training data between clients and server. The informative training
data can be synthesized remotely based on received prompts containing little
privacy and the foundation generative models. The new framework possesses
multiple advantages, including improved communication efficiency, better
resilience to distribution shift, substantial performance gains, and enhanced
privacy protection, which are verified in extensive experiments on ImageNet and
DomainNet datasets.
- Abstract(参考訳): 既存のフェデレートされた学習ソリューションは、クライアントとサーバの間で機能やパラメータ、ガディアンを伝達することに重点を置いている。
新たな基礎生成モデルのおかげで、クライアントとサーバ間で分散トレーニングデータに関連するプロンプトを送信する、新しいフェデレーション学習フレームワーク、federated generative learningを提案する。
情報学習データは、プライバシーと基礎生成モデルを含む受信したプロンプトに基づいて遠隔で合成することができる。
新しいフレームワークには、通信効率の向上、分散シフトへのレジリエンス向上、実質的なパフォーマンス向上、imagenetとdomainnetデータセットの広範な実験で検証されたプライバシー保護強化など、複数のメリットがある。
関連論文リスト
- Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。
FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。
提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
論文 参考訳(メタデータ) (2024-11-02T13:31:36Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Federated Learning Empowered by Generative Content [55.576885852501775]
フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。
本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。
我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
論文 参考訳(メタデータ) (2023-12-10T07:38:56Z) - An Efficient Virtual Data Generation Method for Reducing Communication
in Federated Learning [34.39250699866746]
いくつかの古典的なスキームでは、サーバがローカルモデルから参加者のトレーニングデータに関する補助情報を抽出し、中央ダミーデータセットを構築することができると仮定している。
サーバはダミーデータセットを使用して、集約されたグローバルモデルを微調整し、より少ない通信ラウンドでターゲットテストの精度を達成する。
本稿では、上記のソリューションをデータベースの通信効率FLフレームワークにまとめる。
論文 参考訳(メタデータ) (2023-06-21T08:07:07Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。