論文の概要: FedPop: A Bayesian Approach for Personalised Federated Learning
- arxiv url: http://arxiv.org/abs/2206.03611v1
- Date: Tue, 7 Jun 2022 22:52:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:14:04.786102
- Title: FedPop: A Bayesian Approach for Personalised Federated Learning
- Title（参考訳）: FedPop:個人化されたフェデレーション学習のためのベイズ的アプローチ
- Authors: Nikita Kotelevskii and Maxime Vono and Eric Moulines and Alain Durmus
- Abstract要約: パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。
我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。
既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
- 参考スコア（独自算出の注目度）: 25.67466138369391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalised federated learning (FL) aims at collaboratively learning a
machine learning model taylored for each client. Albeit promising advances have
been made in this direction, most of existing approaches works do not allow for
uncertainty quantification which is crucial in many applications. In addition,
personalisation in the cross-device setting still involves important issues,
especially for new clients or those having small number of observations. This
paper aims at filling these gaps. To this end, we propose a novel methodology
coined FedPop by recasting personalised FL into the population modeling
paradigm where clients' models involve fixed common population parameters and
random effects, aiming at explaining data heterogeneity. To derive convergence
guarantees for our scheme, we introduce a new class of federated stochastic
optimisation algorithms which relies on Markov chain Monte Carlo methods.
Compared to existing personalised FL methods, the proposed methodology has
important benefits: it is robust to client drift, practical for inference on
new clients, and above all, enables uncertainty quantification under mild
computational and memory overheads. We provide non-asymptotic convergence
guarantees for the proposed algorithms and illustrate their performances on
various personalised federated learning tasks.
- Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(FL)は、各クライアントに合わせた機械学習モデルを協調的に学習することを目的としている。
この方向には有望な進歩があったが、既存のアプローチの多くは、多くのアプリケーションで重要な不確実な定量化を許さない。
さらに、クロスデバイス環境でのパーソナライゼーションは、特に新規クライアントや少数の観察者にとって、依然として重要な問題である。
本稿は,これらのギャップを埋めることを目的とする。
そこで本研究では,データの不均一性を説明するために,クライアントのモデルが固定された集団パラメータとランダム効果を含む集団モデリングパラダイムに,個人化されたflを再キャストすることで,feedpopを考案した新しい手法を提案する。
本手法の収束保証を導出するために,マルコフ連鎖モンテカルロ法に依拠する新しい連立確率最適化アルゴリズムを導入する。
既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度の計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
提案するアルゴリズムに対する非漸近収束保証を提供し,その性能を個人化されたフェデレーション学習タスクで示す。
関連論文リスト
- Submodular Maximization Approaches for Equitable Client Selection in Federated Learning [4.167345675621377]
従来の学習フレームワークでは、トレーニングのためのクライアント選択は、通常、各イテレーションでクライアントのサブセットをランダムにサンプリングする。
本稿では,ランダムクライアント選択の限界に対処するために,SUBTRUNCとUNIONFLという2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-08-24T22:40:31Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。
このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。
本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
論文 参考訳（メタデータ） (2023-12-10T04:44:53Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。
本稿では,多様な分布シフトの同時発生による学習課題を特定する。
提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文 参考訳（メタデータ） (2023-01-29T06:50:45Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Communication-Efficient Agnostic Federated Averaging [39.761808414613185]
分散学習の設定では、トレーニングアルゴリズムは異なるクライアントに対してバイアスされる可能性がある。
我々は,Mohriらが開発したドメインに依存しない目的を最小化するために,Agnostic Federated Averaging(AgnosticFedAvg)と呼ばれる通信効率の高い分散アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-06T19:01:18Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。