論文の概要: Federated Learning Empowered by Generative Content

• arxiv url: http://arxiv.org/abs/2312.05807v1
• Date: Sun, 10 Dec 2023 07:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 18:23:55.672895
• Title: Federated Learning Empowered by Generative Content
• Title（参考訳）: 生成コンテンツを活用したフェデレーション学習
• Authors: Rui Ye, Xinyu Zhu, Jingyi Chai, Siheng Chen, Yanfeng Wang
• Abstract要約: フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
• 参考スコア（独自算出の注目度）: 55.576885852501775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables leveraging distributed private data for model training in a privacy-preserving way. However, data heterogeneity significantly limits the performance of current FL methods. In this paper, we propose a novel FL framework termed FedGC, designed to mitigate data heterogeneity issues by diversifying private data with generative content. FedGC is a simple-to-implement framework as it only introduces a one-shot step of data generation. In data generation, we summarize three crucial and worth-exploring aspects (budget allocation, prompt design, and generation guidance) and propose three solution candidates for each aspect. Specifically, to achieve a better trade-off between data diversity and fidelity for generation guidance, we propose to generate data based on the guidance of prompts and real data simultaneously. The generated data is then merged with private data to facilitate local model training. Such generative data increases the diversity of private data to prevent each client from fitting the potentially biased private data, alleviating the issue of data heterogeneity. We conduct a systematic empirical study on FedGC, covering diverse baselines, datasets, scenarios, and modalities. Interesting findings include (1) FedGC consistently and significantly enhances the performance of FL methods, even when notable disparities exist between generative and private data; (2) FedGC achieves both better performance and privacy-preservation. We wish this work can inspire future works to further explore the potential of enhancing FL with generative content.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 しかし、データの不均一性は現在のFL法の性能を著しく制限する。 本稿では,federative contentでプライベートデータを多角化することにより,データの不均一性問題を解決するために設計された,federcと呼ばれる新しいflフレームワークを提案する。 FedGCは単純な実装フレームワークであり、データ生成のワンショットステップのみを導入している。 データ生成では,3つの重要かつ価値ある側面(予算割当,迅速な設計,世代指導)を要約し,各側面に対する3つのソリューション候補を提案する。 具体的には,データ多様性と生成指導の忠実性とのトレードオフを改善するために,プロンプトと実データを同時に生成することを提案する。 生成されたデータはプライベートデータとマージされ、ローカルモデルのトレーニングが容易になる。 このような生成データはプライベートデータの多様性を高め、各クライアントが潜在的に偏ったプライベートデータに適合しないようにし、データの不均一性を緩和する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。 興味ある発見は, 1) 生成データとプライベートデータの間に顕著な相違がある場合でも, FL法の性能を一貫して, 著しく向上させ, 2) 性能とプライバシ保護の両立を図ることである。 この作業が将来の作業に刺激を与え、flを生成コンテンツで強化する可能性をさらに探りたいと思っています。

関連論文リスト

• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• A Simple Data Augmentation for Feature Distribution Skewed Federated Learning [12.636154758643757]
  フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に支援し、プライバシ保護を保証する。 本稿では,現実世界のアプリケーションに広く普及しているFLシナリオの特徴分布に着目した。 特徴分布スキュードFLの簡易かつ極めて効果的なデータ拡張法であるFedRDNを提案する。
  論文  参考訳（メタデータ） (2023-06-14T05:46:52Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
  本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。 この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
  論文  参考訳（メタデータ） (2023-03-31T10:13:01Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data [20.757477553095637]
  Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。 連合学習における大きな課題は、局所データが不均一であるときに生じる。 我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
  論文  参考訳（メタデータ） (2022-06-01T18:00:48Z)
• Synthesizing Property & Casualty Ratemaking Datasets using Generative Adversarial Networks [2.2649197740853677]
  秘密のオリジナルデータセットから合成保険データセットを構築することができるGAN(Generative Adversarial Network)の3種類の設計方法を示す。 透明性のために、これらのアプローチは、公開データセット、フランスのモーターサードパーティの負債データを使って説明されている。 MC-WGAN-GPは最良のデータを合成し、CTGANは最も使いやすく、MNCDP-GANは差分プライバシーを保証する。
  論文  参考訳（メタデータ） (2020-08-13T21:02:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。