論文の概要: FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion

• arxiv url: http://arxiv.org/abs/2410.20380v1
• Date: Sun, 27 Oct 2024 09:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:31.172101
• Title: FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion
• Title（参考訳）: FuseFL:進歩的モデル融合による因果レンズによるワンショットフェデレーション学習
• Authors: Zhenheng Tang, Yonggang Zhang, Peijie Dong, Yiu-ming Cheung, Amelie Chi Zhou, Bo Han, Xiaowen Chu,
• Abstract要約: ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
• 参考スコア（独自算出の注目度）: 48.90879664138855
• License:
• Abstract: One-shot Federated Learning (OFL) significantly reduces communication costs in FL by aggregating trained models only once. However, the performance of advanced OFL methods is far behind the normal FL. In this work, we provide a causal view to find that this performance drop of OFL methods comes from the isolation problem, which means that local isolatedly trained models in OFL may easily fit to spurious correlations due to the data heterogeneity. From the causal perspective, we observe that the spurious fitting can be alleviated by augmenting intermediate features from other clients. Built upon our observation, we propose a novel learning approach to endow OFL with superb performance and low communication and storage costs, termed as FuseFL. Specifically, FuseFL decomposes neural networks into several blocks, and progressively trains and fuses each block following a bottom-up manner for feature augmentation, introducing no additional communication costs. Comprehensive experiments demonstrate that FuseFL outperforms existing OFL and ensemble FL by a significant margin. We conduct comprehensive experiments to show that FuseFL supports high scalability of clients, heterogeneous model training, and low memory costs. Our work is the first attempt using causality to analyze and alleviate data heterogeneity of OFL.
• Abstract（参考訳）: ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLの通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本研究は,OFL法の性能低下が分離問題から生じることを明らかにするための因果的考察である。 因果的観点からは、他のクライアントから中間機能を増強することで、スプリアスフィッティングを緩和することができることを観察する。 そこで本研究では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。 具体的には、FuseFLはニューラルネットワークをいくつかのブロックに分解し、機能拡張のためにボトムアップ方式で各ブロックを徐々に訓練し、ヒューズする。 総合的な実験により、FuseFLは既存のOFLとアンサンブルFLをかなりの差で上回ることを示した。 我々は、FuseFLがクライアントの高スケーラビリティ、異種モデルトレーニング、低メモリコストをサポートすることを示す包括的な実験を行う。 我々の研究は、OFLのデータ不均一性を解析・緩和するために因果性を用いた最初の試みである。

関連論文リスト

• Revisiting Ensembling in One-Shot Federated Learning [9.02411690527967]
  ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
  論文  参考訳（メタデータ） (2024-11-11T17:58:28Z)
• OledFL: Unleashing the Potential of Decentralized Federated Learning via Opposite Lookahead Enhancement [21.440625995788974]
  分散フェデレートラーニング(DFL)は、より高速なトレーニング、プライバシ保護、ライトコミュニケーションという観点で、フェデレーションラーニング(CFL)を超越している。 しかし、DFLは一般化能力の観点からもCFLと大きな相違が見られる。
  論文  参考訳（メタデータ） (2024-10-09T02:16:14Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Sharp Bounds for Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  学習にはパラレルFL(PFL)とシーケンシャルFL(SFL)の2つのパラダイムがある。 PFLとは対照的に、収束理論 SFL のデータはまだ不足している。 強凸, 一般凸, 逐次非直観的目的関数の上限を導出する。 上界SFLと不均一PFLデータとの比較を行った。
  論文  参考訳（メタデータ） (2024-05-02T09:58:49Z)
• Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning [25.47111107054497]
  Split Federated Learning (SFL)は、AIoTシステムで有望である。 SFLは低い推測精度と低い効率の課題に悩まされている。 本稿では,Sliding Split Federated Learning (S$2$FL) という新しいSFL手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T05:09:50Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• Bayesian Federated Learning: A Survey [54.40136267717288]
  フェデレートラーニング(FL)は、分散インフラストラクチャ、コミュニケーション、コンピューティング、学習をプライバシ保護の方法で統合する際の利点を示している。 既存のFL手法のロバスト性と能力は、制限された動的データと条件によって挑戦される。 BFLはこれらの問題に対処するための有望なアプローチとして登場した。
  論文  参考訳（メタデータ） (2023-04-26T03:41:17Z)
• Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
  フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。 既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
  論文  参考訳（メタデータ） (2023-02-08T14:37:34Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。