論文の概要: Personalized Federated Learning via Amortized Bayesian Meta-Learning
- arxiv url: http://arxiv.org/abs/2307.02222v1
- Date: Wed, 5 Jul 2023 11:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 14:05:12.361325
- Title: Personalized Federated Learning via Amortized Bayesian Meta-Learning
- Title（参考訳）: Amortized Bayesian Meta-Learningによる個人化フェデレーション学習
- Authors: Shiyu Liu, Shaogao Lv, Dun Zeng, Zenglin Xu, Hui Wang and Yue Yu
- Abstract要約: 我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
- 参考スコア（独自算出の注目度）: 21.126405589760367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a decentralized and privacy-preserving technique that
enables multiple clients to collaborate with a server to learn a global model
without exposing their private data. However, the presence of statistical
heterogeneity among clients poses a challenge, as the global model may struggle
to perform well on each client's specific task. To address this issue, we
introduce a new perspective on personalized federated learning through
Amortized Bayesian Meta-Learning. Specifically, we propose a novel algorithm
called \emph{FedABML}, which employs hierarchical variational inference across
clients. The global prior aims to capture representations of common intrinsic
structures from heterogeneous clients, which can then be transferred to their
respective tasks and aid in the generation of accurate client-specific
approximate posteriors through a few local updates. Our theoretical analysis
provides an upper bound on the average generalization error and guarantees the
generalization performance on unseen data. Finally, several empirical results
are implemented to demonstrate that \emph{FedABML} outperforms several
competitive baselines.
- Abstract（参考訳）: フェデレーション学習(federated learning)は,複数のクライアントがサーバとコラボレーションして,プライベートデータを公開せずにグローバルモデルを学ぶ,分散型かつプライバシ保護のテクニックである。
しかしながら、グローバルモデルが各クライアントの特定のタスクでうまく機能するのに苦労する可能性があるため、クライアント間の統計的不均一性の存在は課題となる。
この問題に対処するために、Amortized Bayesian Meta-Learning を通じて、パーソナライズド・フェデレーション・ラーニングの新しい視点を導入する。
具体的には,クライアント間の階層的変動推論を用いた新しいアルゴリズム「emph{FedABML}」を提案する。
グローバルプリミティブは、異種クライアントからの共通固有構造表現をキャプチャし、各タスクに転送し、いくつかのローカル更新を通じてクライアント固有の近似後部の生成を支援することを目的としている。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
最後に、いくつかの実験結果により、 \emph{FedABML} がいくつかの競争ベースラインを上回っていることを示す。
関連論文リスト
- Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph [49.66272783945571]
クライアント関係グラフを用いた個人化フェデレーション知識グラフを提案する。
PFedEGは、近隣のクライアントから埋め込まれたエンティティを集約することで、各クライアントに対してパーソナライズされた補完知識を学習する。
我々は4つのベンチマークデータセットの広範な実験を行い、その手法を最先端モデルに対して評価する。
論文 参考訳（メタデータ） (2024-06-17T17:44:53Z) - Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。
本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-27T06:37:19Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Personalized Federated Learning with Feature Alignment and Classifier
Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。
ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。
本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文 参考訳（メタデータ） (2023-06-20T19:58:58Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳（メタデータ） (2021-05-02T22:10:46Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。