論文の概要: Fake It Till Make It: Federated Learning with Consensus-Oriented Generation

• arxiv url: http://arxiv.org/abs/2312.05966v1
• Date: Sun, 10 Dec 2023 18:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 17:53:14.722180
• Title: Fake It Till Make It: Federated Learning with Consensus-Oriented Generation
• Title（参考訳）: Fake it Till Make it: 合意指向世代によるフェデレーション学習
• Authors: Rui Ye, Yaxin Du, Zhenyang Ni, Siheng Chen, Yanfeng Wang
• Abstract要約: コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 52.82176415223988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning (FL), data heterogeneity is one key bottleneck that causes model divergence and limits performance. Addressing this, existing methods often regard data heterogeneity as an inherent property and propose to mitigate its adverse effects by correcting models. In this paper, we seek to break this inherent property by generating data to complement the original dataset to fundamentally mitigate heterogeneity level. As a novel attempt from the perspective of data, we propose federated learning with consensus-oriented generation (FedCOG). FedCOG consists of two key components at the client side: complementary data generation, which generates data extracted from the shared global model to complement the original dataset, and knowledge-distillation-based model training, which distills knowledge from global model to local model based on the generated data to mitigate over-fitting the original heterogeneous dataset. FedCOG has two critical advantages: 1) it can be a plug-and-play module to further improve the performance of most existing FL methods, and 2) it is naturally compatible with standard FL protocols such as Secure Aggregation since it makes no modification in communication process. Extensive experiments on classical and real-world FL datasets show that FedCOG consistently outperforms state-of-the-art methods.
• Abstract（参考訳）: フェデレートラーニング(FL)では、データの異質性はモデルの分散と性能の制限を引き起こす重要なボトルネックの1つである。 これに対応するために、既存の手法では、データ不均一性を固有の特性とみなし、モデルを修正することでその悪影響を軽減することを提案する。 本稿では,元となるデータセットを補完し,不均一性を根本的に緩和するデータを生成することによって,この特性を破ろうとする。 データの観点からの新しい試みとして,コンセンサス指向生成(fedcog)を用いた連合学習を提案する。 FedCOGは、共有グローバルモデルから抽出されたデータを生成して元のデータセットを補完する補完データ生成と、生成されたデータに基づいてグローバルモデルからローカルモデルに知識を蒸留し、元の異種データセットの過度な適合を緩和する知識蒸留モデルトレーニングの2つの主要なコンポーネントで構成されている。 FedCOGには2つの重要な利点がある。 1)既存のFLメソッドの性能をさらに向上させるプラグイン・アンド・プレイモジュールとなり得る。 2)セキュアアグリゲーションのような標準flプロトコルと自然に互換性がある。 古典的および実世界のFLデータセットに対する大規模な実験は、FedCOGが一貫して最先端の手法より優れていることを示している。

関連論文リスト

• A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning [14.466679488063217]
  ワンショットフェデレーション学習(FL)は、サーバとクライアント間の通信を1ラウンドに制限する。 モデルとデータの不均一性の両方を効果的に扱える統一的でデータフリーなワンショットFLフレームワーク(FedHydra)を提案する。
  論文  参考訳（メタデータ） (2024-10-28T15:20:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Federated Virtual Learning on Heterogeneous Data with Local-global Distillation [17.998623216905496]
  局所グロバル蒸留(FedLGD)を用いた不均一データのフェデレーションバーチャルラーニング 局所Global Distillation (FedLGD) を用いた不均一データに対するフェデレーション仮想学習法を提案する。 提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2023-03-04T00:35:29Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Federated Causal Discovery [74.37739054932733]
  本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。 ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。 合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T08:04:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。