論文の概要: Leveraging Function Space Aggregation for Federated Learning at Scale
- arxiv url: http://arxiv.org/abs/2311.10291v1
- Date: Fri, 17 Nov 2023 02:37:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:59:58.127985
- Title: Leveraging Function Space Aggregation for Federated Learning at Scale
- Title（参考訳）: 大規模学習における関数空間アグリゲーションの活用
- Authors: Nikita Dhawan, Nicole Mitchell, Zachary Charles, Zachary Garrett,
Gintare Karolina Dziugaite
- Abstract要約: クライアントが学習した関数に対する局所近似を集約するアルゴリズムであるFedFishを提案する。
我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
- 参考スコア（独自算出の注目度）: 20.866482460590973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The federated learning paradigm has motivated the development of methods for
aggregating multiple client updates into a global server model, without sharing
client data. Many federated learning algorithms, including the canonical
Federated Averaging (FedAvg), take a direct (possibly weighted) average of the
client parameter updates, motivated by results in distributed optimization. In
this work, we adopt a function space perspective and propose a new algorithm,
FedFish, that aggregates local approximations to the functions learned by
clients, using an estimate based on their Fisher information. We evaluate
FedFish on realistic, large-scale cross-device benchmarks. While the
performance of FedAvg can suffer as client models drift further apart, we
demonstrate that FedFish is more robust to longer local training. Our
evaluation across several settings in image and language benchmarks shows that
FedFish outperforms FedAvg as local training epochs increase. Further, FedFish
results in global networks that are more amenable to efficient personalization
via local fine-tuning on the same or shifted data distributions. For instance,
federated pretraining on the C4 dataset, followed by few-shot personalization
on Stack Overflow, results in a 7% improvement in next-token prediction by
FedFish over FedAvg.
- Abstract（参考訳）: フェデレーション学習パラダイムは、クライアントデータを共有することなく、複数のクライアント更新をグローバルサーバモデルに集約する手法の開発を動機付けた。
fedavg(canonical federated averaging)を含む多くのフェデレーション学習アルゴリズムは、分散最適化の結果によって動機付けられた、クライアントパラメータのアップデートの直接的な(おそらく重み付けされた)平均を取る。
本研究では,関数空間の視点を採用し,フィッシャー情報に基づく推定値を用いて,クライアントが学習した関数に局所近似を集約する新しいアルゴリズムfeedfishを提案する。
我々はFedFishを、現実的で大規模なクロスデバイスベンチマークで評価する。
FedAvgのパフォーマンスは、クライアントモデルがさらに離れていくにつれて悪化する可能性があるが、FedFishはより長いローカルトレーニングよりも堅牢であることを示す。
画像および言語ベンチマークのいくつかの設定で評価したところ、FedFishはローカルトレーニングのエポックが増加するにつれてFedAvgよりも優れています。
さらに、FedFishは、同じまたはシフトしたデータ分布上の局所的な微調整によって、より効率的なパーソナライズを行うことができるグローバルネットワークに結果をもたらす。
例えば、C4データセット上でのフェデレーション事前トレーニング、続いてStack Overflowでのパーソナライゼーションは、FedAvgよりもFedFishによる次のトーケン予測を7%改善する。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-07-17T15:40:45Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedBN: Federated Learning on Non-IID Features via Local Batch
Normalization [23.519212374186232]
フェデレーション学習(fl)の新たなパラダイムは、生データを集中的に集約することなく、ネットワークエッジにおける深層モデルの協調的なトレーニングを可能にすることを目指している。
モデルの平均化に先立って,局所的バッチ正規化を用いて特徴シフトを緩和する有効な手法を提案する。
FedBNと呼ばれるこの方式は、古典的なFedAvgと、非IDデータの最先端の両方を上回っている。
論文 参考訳（メタデータ） (2021-02-15T16:04:10Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳（メタデータ） (2021-01-20T06:45:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。