論文の概要: Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting

• arxiv url: http://arxiv.org/abs/2402.15070v1
• Date: Fri, 23 Feb 2024 03:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 15:50:25.018459
• Title: Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting
• Title（参考訳）: データとアンサンブルによるワンショットフェデレーション学習の強化
• Authors: Rong Dai, Yonggang Zhang, Ang Li, Tongliang Liu, Xun Yang, Bo Han
• Abstract要約: ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。 合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
• 参考スコア（独自算出の注目度）: 76.64235084279292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot Federated Learning (OFL) has become a promising learning paradigm, enabling the training of a global server model via a single communication round. In OFL, the server model is aggregated by distilling knowledge from all client models (the ensemble), which are also responsible for synthesizing samples for distillation. In this regard, advanced works show that the performance of the server model is intrinsically related to the quality of the synthesized data and the ensemble model. To promote OFL, we introduce a novel framework, Co-Boosting, in which synthesized data and the ensemble model mutually enhance each other progressively. Specifically, Co-Boosting leverages the current ensemble model to synthesize higher-quality samples in an adversarial manner. These hard samples are then employed to promote the quality of the ensemble model by adjusting the ensembling weights for each client model. Consequently, Co-Boosting periodically achieves high-quality data and ensemble models. Extensive experiments demonstrate that Co-Boosting can substantially outperform existing baselines under various settings. Moreover, Co-Boosting eliminates the need for adjustments to the client's local training, requires no additional data or model transmission, and allows client models to have heterogeneous architectures.
• Abstract（参考訳）: ワンショットフェデレートラーニング(OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムとなっている。 OFLでは、サーバモデルは、すべてのクライアントモデル(アンサンブル)から知識を蒸留することで集約される。 本稿では,サーバモデルの性能が,合成データとアンサンブルモデルの質と本質的に関連していることを示す。 oflを促進するために,合成データとアンサンブルモデルが相互に相互に強化する新しい枠組みである共ブースティングを提案する。 特に、Co-Boostingは現在のアンサンブルモデルを利用して、高品質なサンプルを対角的に合成する。 これらの硬いサンプルを用いて、各クライアントモデルに対する感性重みを調整することにより、アンサンブルモデルの品質を高める。 その結果、Co-Boostingは定期的に高品質のデータとアンサンブルモデルを達成する。 大規模な実験により、Co-Boostingは様々な設定下で既存のベースラインを大幅に上回ることを示した。 さらに、コブースティングは、クライアントのローカルトレーニングへの調整の必要性をなくし、追加のデータやモデル送信を必要とせず、クライアントモデルに異種アーキテクチャを持たせることができる。

関連論文リスト

• Balancing Similarity and Complementarity for Federated Learning [91.65503655796603]
  フェデレートラーニング(FL)は、モバイルとIoTシステムにおいてますます重要になっている。 FLの重要な課題の1つは、非i.d.データのような統計的不均一性を管理することである。 FL協調における類似性と相補性のバランスをとる新しいフレームワークである texttFedSaC を導入する。
  論文  参考訳（メタデータ） (2024-05-16T08:16:19Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning [13.393529840544117]
  既存のパーソナライズされた学習モデルでは、学習モデルの性能を改善するために、類似したクライアントを同様のデータ分散で集約するのが好ましい。 本稿では,動的親和性に基づく個人化フェデレーション学習モデル(DA-PFL)を提案する。
  論文  参考訳（メタデータ） (2024-03-14T11:12:10Z)
• FedSDD: Scalable and Diversity-enhanced Distillation for Model Aggregation in Federated Learning [15.39242780506777]
  本稿では,フェデレーション学習のためのスケーラブルで多様性に富んだフェデレーション蒸留方式であるFedSDDを提案する。 FedSDDは、スケーラビリティを高めるために、クライアントの数からトレーニングの複雑さを分離し、集約されたモデルの集合からアンサンブルを構築する。 実験の結果、FedSDDはベンチマークデータセット上でFedAvgやFedDFなど他のFLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-28T14:10:00Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
  フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。 本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:37:02Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。