論文の概要: Personalized Federated Learning with Gaussian Processes

• arxiv url: http://arxiv.org/abs/2106.15482v1
• Date: Tue, 29 Jun 2021 15:09:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-30 19:53:58.330555
• Title: Personalized Federated Learning with Gaussian Processes
• Title（参考訳）: ガウス過程を用いた個人化フェデレーション学習
• Authors: Idan Achituve, Aviv Shamsian, Aviv Navon, Gal Chechik, Ethan Fetaya
• Abstract要約: フェデレートラーニングは、クライアントデバイス上でクロスクライアント通信に制限のあるグローバルモデルを学ぶことを目的としている。 本稿では,深いカーネル学習を伴うガウス過程(GP)に基づくPFLの解であるpFedGPを提案する。 pFedGPはベースライン法を著しく上回り、精度は最大で21%向上する。
• 参考スコア（独自算出の注目度）: 24.102107455189454
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated learning aims to learn a global model that performs well on client devices with limited cross-client communication. Personalized federated learning (PFL) further extends this setup to handle data heterogeneity between clients by learning personalized models. A key challenge in this setting is to learn effectively across clients even though each client has unique data that is often limited in size. Here we present pFedGP, a solution to PFL that is based on Gaussian processes (GPs) with deep kernel learning. GPs are highly expressive models that work well in the low data regime due to their Bayesian nature. However, applying GPs to PFL raises multiple challenges. Mainly, GPs performance depends heavily on access to a good kernel function, and learning a kernel requires a large training set. Therefore, we propose learning a shared kernel function across all clients, parameterized by a neural network, with a personal GP classifier for each client. We further extend pFedGP to include inducing points using two novel methods, the first helps to improve generalization in the low data regime and the second reduces the computational cost. We derive a PAC-Bayes generalization bound on novel clients and empirically show that it gives non-vacuous guarantees. Extensive experiments on standard PFL benchmarks with CIFAR-10, CIFAR-100, and CINIC-10, and on a new setup of learning under input noise show that pFedGP achieves well-calibrated predictions while significantly outperforming baseline methods, reaching up to 21% in accuracy gain.
• Abstract（参考訳）: フェデレートラーニングは、クライアントデバイス上でクロスクライアント通信に制限のあるグローバルモデルを学ぶことを目的としている。 パーソナライズド・フェデレーション・ラーニング(PFL)はこの設定を拡張して、パーソナライズされたモデルを学ぶことで、クライアント間のデータの均一性を処理する。 この設定における重要な課題は、各クライアントがサイズに制限のあるユニークなデータを持っているにも関わらず、クライアント間で効果的に学習することである。 ここでは、深いカーネル学習を伴うガウス過程(GP)に基づくPFLの解であるpFedGPを紹介する。 GPは、ベイズの性質上、低データ構造でうまく機能する非常に表現力のあるモデルである。 しかし、GPをPFLに適用することは様々な課題を引き起こす。 主に、GPのパフォーマンスは優れたカーネル関数へのアクセスに大きく依存し、カーネルの学習には大規模なトレーニングセットが必要である。 そこで我々は,ニューラルネットワークによってパラメータ化された共有カーネル関数を,各クライアントのGP分類器を用いて学習する。 我々はさらに pFedGP を拡張して, 2 つの新しい手法を用いて点を誘導し, 1 つ目は低データ構造における一般化の改善に役立ち, 2 つ目は計算コストを削減した。 新規クライアントに限定したPAC-Bayes一般化を導出し,非空き保証を実証的に示す。 CIFAR-10, CIFAR-100, CINIC-10 による標準 PFL ベンチマークと, 入力雑音下での学習の新たな設定により, pFedGP は高い校正精度を達成し, ベースライン法を著しく上回り, 精度の 21% に達することを示した。

関連論文リスト

• GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning [6.717563725609496]
  フェデレートラーニングクライアントの選択は、参加者のクライアントを決定するために重要です。 本稿では,局所的およびグローバルな降下方向を比較することで,クライアントの値を測定するGPFLを提案する。 GPFLは、フェデレート学習における事前選択とパラメータ再利用により、より短い計算時間を示す。
  論文  参考訳（メタデータ） (2024-03-26T16:14:43Z)
• Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach [42.59649764999974]
  フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。 PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。 提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
  論文  参考訳（メタデータ） (2024-01-16T13:30:37Z)
• FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
  不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。 我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
  論文  参考訳（メタデータ） (2024-01-06T14:43:47Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process [21.872163101238705]
  Federated Bayesian Neural Regression (FedBNR)は、クライアントのプライバシを尊重するスケーラブルなスタンドアロングローバルGPを学習するアルゴリズムである。 すべてのクライアントデータが集中しているかのように、グローバルな予測モデルを学ぶという原則的なアプローチを導出します。 実世界の回帰データセットを用いて実験を行い、他のGPモデルと比較して統計的に有意な改善を示した。
  論文  参考訳（メタデータ） (2022-06-13T17:52:58Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。