論文の概要: Revisiting Ensembling in One-Shot Federated Learning

• arxiv url: http://arxiv.org/abs/2411.07182v1
• Date: Mon, 11 Nov 2024 17:58:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:07:27.140572
• Title: Revisiting Ensembling in One-Shot Federated Learning
• Title（参考訳）: ワンショットフェデレーションラーニングにおける再考
• Authors: Youssef Allouah, Akash Dhasade, Rachid Guerraoui, Nirupam Gupta, Anne-Marie Kermarrec, Rafael Pinot, Rafael Pires, Rishi Sharma,
• Abstract要約: ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換する。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSは最先端(SOTA) OFLよりも26.9%高い精度で、FLよりもわずか3.1%低い。
• 参考スコア（独自算出の注目度）: 9.02411690527967
• License:
• Abstract: Federated learning (FL) is an appealing approach to training machine learning models without sharing raw data. However, standard FL algorithms are iterative and thus induce a significant communication cost. One-shot federated learning (OFL) trades the iterative exchange of models between clients and the server with a single round of communication, thereby saving substantially on communication costs. Not surprisingly, OFL exhibits a performance gap in terms of accuracy with respect to FL, especially under high data heterogeneity. We introduce FENS, a novel federated ensembling scheme that approaches the accuracy of FL with the communication efficiency of OFL. Learning in FENS proceeds in two phases: first, clients train models locally and send them to the server, similar to OFL; second, clients collaboratively train a lightweight prediction aggregator model using FL. We showcase the effectiveness of FENS through exhaustive experiments spanning several datasets and heterogeneity levels. In the particular case of heterogeneously distributed CIFAR-10 dataset, FENS achieves up to a 26.9% higher accuracy over state-of-the-art (SOTA) OFL, being only 3.1% lower than FL. At the same time, FENS incurs at most 4.3x more communication than OFL, whereas FL is at least 10.9x more communication-intensive than FENS.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに機械学習モデルをトレーニングするための魅力的なアプローチである。 しかし、標準FLアルゴリズムは反復的であり、通信コストがかなり高い。 ワンショットフェデレーション学習(OFL)は、クライアントとサーバ間のモデルの反復的な交換を1ラウンドの通信で交換することで、通信コストを大幅に削減する。 当然のことながら、OFLはFLに関して、特にデータの不均一性の下では、精度の面でパフォーマンスのギャップを示す。 FLの精度とOFLの通信効率を両立させる新しい連合型アンサンブル方式であるFENSを導入する。 FENSでの学習は、第1に、クライアントがモデルをローカルにトレーニングし、OFLと同じようにサーバに送信する、第2に、クライアントがFLを使用して軽量な予測集約モデルを共同でトレーニングする、という2つのフェーズで進行する。 いくつかのデータセットと不均一度レベルにまたがる徹底的な実験を通してFENSの有効性を示す。 不均一分散CIFAR-10データセットの場合、FENSは最先端(SOTA) OFLよりも26.9%高い精度を達成し、FLよりもわずか3.1%低い。 同時に、FENSはOFLよりも4.3倍、FLはFENSより少なくとも10.9倍、通信集約性が高い。

関連論文リスト

• FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
  ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。 しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。 本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T09:07:10Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Convergence Analysis of Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
  連立学習(FL)では、複数のクライアント間で共同トレーニングを行う方法が2つある:i)並列FL(PFL)、i)クライアントが並列にモデルを訓練するFL(SFL)、i)クライアントが逐次的にモデルを訓練するFL(SFL)である。 本稿では,不均一なデータに対するSFLの収束保証がまだ不十分であることを示す。 実験により,SFLはデバイス間設定において極めて不均一なデータ上でPFLより優れることを示した。
  論文  参考訳（メタデータ） (2023-11-06T14:48:51Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
  フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。 具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。 全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
  論文  参考訳（メタデータ） (2022-12-20T06:44:32Z)
• Decoupled Federated Learning for ASR with Non-IID Data [34.59790627669783]
  FLをベースとしたASRにおける非IID問題に,各クライアントのパーソナライズされたモデルを学習するパーソナライズされたFLを用いて対処する。 FLをベースとした2つのパーソナライズされたASRアプローチがFedAvgと比較してWERを2.3%から3.4%削減できることを示した。
  論文  参考訳（メタデータ） (2022-06-18T03:44:37Z)
• Flexible Clustered Federated Learning for Client-Level Data Distribution Shift [13.759582953827229]
  フレキシブルクラスタ型連合学習(CFL)フレームワークFlexCFLを提案する。 FEMNISTではFedAvgに比べて,FlexCFLでは絶対テスト精度が+10.6%向上することが示された。 また、いくつかのオープンデータセット上でFlexCFLを評価し、関連するCFLフレームワークと比較した。
  論文  参考訳（メタデータ） (2021-08-22T15:11:39Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。