論文の概要: Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization

• arxiv url: http://arxiv.org/abs/2411.18385v1
• Date: Wed, 27 Nov 2024 14:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:45.139606
• Title: Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization
• Title（参考訳）: 効率的な2次最適化による不確実性とパーソナライズによるフェデレーション学習
• Authors: Shivam Pal, Aishwarya Gupta, Saqib Sarwar, Piyush Rai,
• Abstract要約: フェデレートラーニング(FL)は、異なるクライアントで利用可能な分散データと異種データから協調的に学習するための有望な方法として登場した。 FLに関する最近の研究は、モデルと予測の不確実性を考慮した原則的な方法として、FLに対するベイズ的アプローチを提唱している。 本稿では,効率の良い2階最適化手法を用いた新しいベイズFL法を提案する。
• 参考スコア（独自算出の注目度）: 12.077499176843144
• License:
• Abstract: Federated Learning (FL) has emerged as a promising method to collaboratively learn from decentralized and heterogeneous data available at different clients without the requirement of data ever leaving the clients. Recent works on FL have advocated taking a Bayesian approach to FL as it offers a principled way to account for the model and predictive uncertainty by learning a posterior distribution for the client and/or server models. Moreover, Bayesian FL also naturally enables personalization in FL to handle data heterogeneity across the different clients by having each client learn its own distinct personalized model. In particular, the hierarchical Bayesian approach enables all the clients to learn their personalized models while also taking into account the commonalities via a prior distribution provided by the server. However, despite their promise, Bayesian approaches for FL can be computationally expensive and can have high communication costs as well because of the requirement of computing and sending the posterior distributions. We present a novel Bayesian FL method using an efficient second-order optimization approach, with a computational cost that is similar to first-order optimization methods like Adam, but also provides the various benefits of the Bayesian approach for FL (e.g., uncertainty, personalization), while also being significantly more efficient and accurate than SOTA Bayesian FL methods (both for standard as well as personalized FL settings). Our method achieves improved predictive accuracies as well as better uncertainty estimates as compared to the baselines which include both optimization based as well as Bayesian FL methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントを離れることなく、異なるクライアントで利用可能な分散データと異種データから協力的に学習する、有望な方法として登場した。 FLに関する最近の研究は、クライアントモデルやサーバモデルの後方分布を学習することで、モデルと予測の不確実性を考慮し、ベイズ的アプローチをFLに取り入れることを提唱している。 さらに、Bayesian FLはFLのパーソナライズを自然に可能にし、各クライアントが独自のパーソナライズされたモデルを学ぶことで、異なるクライアント間のデータの均一性を処理します。 特に階層的ベイズアプローチでは、すべてのクライアントがパーソナライズされたモデルを学ぶと同時に、サーバが提供する事前の配布を通じて共通性を考慮し、パーソナライズされたモデルを学ぶことができる。 しかし、その約束に反して、FLに対するベイジアンアプローチは計算コストが高く、計算と後続分布の送信が要求されるため、通信コストも高い。 本稿では,効率の良い2階最適化手法を用いて,Adamのような一階最適化手法に類似した計算コストでベイズ的手法(不確実性,パーソナライゼーションなど)を提供するとともに,SOTAベイズ的手法(標準とパーソナライズされたFL設定の両方)よりもはるかに効率的かつ正確である。 提案手法は,ベイジアンFL法と最適化に基づくベースラインと比較して,予測精度の向上に加えて,不確実性の推定精度も向上する。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Group Personalized Federated Learning [15.09115201646396]
  フェデレートラーニング(FL)は、クライアントの物理デバイス上で分散的な方法で共有モデルをトレーニングすることで、データのプライバシを促進するのに役立つ。 本稿では,FLの応用に向けたグループパーソナライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-10-04T19:20:19Z)
• AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation [12.62716075696359]
  フェデレートラーニング(FL)では、多くのクライアントやデバイスが協力して、データを共有せずにモデルをトレーニングします。 このドリフトを推定・除去するために、近年FL最適化に分散低減技術が組み込まれている。 本稿では,クライアント間のドリフトを正確に推定する適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-27T20:04:24Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Personalized Federated Learning for Heterogeneous Clients with Clustered Knowledge Transfer [25.041895804188748]
  PerFed-CKT では,クライアントが異種モデルを利用することができ,モデルパラメータを直接通信することができない。 PerFed-CKTは、最先端のパーソナライズされたFL方式と比較して、数桁の通信コストで高いテスト精度を実現する。
  論文  参考訳（メタデータ） (2021-09-16T17:13:53Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。