論文の概要: Robust One Round Federated Learning with Predictive Space Bayesian Inference

• arxiv url: http://arxiv.org/abs/2206.09526v1
• Date: Mon, 20 Jun 2022 01:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:24:29.058216
• Title: Robust One Round Federated Learning with Predictive Space Bayesian Inference
• Title（参考訳）: 予測的宇宙ベイズ推論を用いたロバスト1ラウンド学習
• Authors: Mohsin Hasan, Zehao Zhang, Kaiyang Guo, Mahdi Karami, Guojun Zhang, Xi Chen, Pascal Poupart
• Abstract要約: クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 19.533268415744338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Making predictions robust is an important challenge. A separate challenge in federated learning (FL) is to reduce the number of communication rounds, particularly since doing so reduces performance in heterogeneous data settings. To tackle both issues, we take a Bayesian perspective on the problem of learning a global model. We show how the global predictive posterior can be approximated using client predictive posteriors. This is unlike other works which aggregate the local model space posteriors into the global model space posterior, and are susceptible to high approximation errors due to the posterior's high dimensional multimodal nature. In contrast, our method performs the aggregation on the predictive posteriors, which are typically easier to approximate owing to the low-dimensionality of the output space. We present an algorithm based on this idea, which performs MCMC sampling at each client to obtain an estimate of the local posterior, and then aggregates these in one round to obtain a global ensemble model. Through empirical evaluation on several classification and regression tasks, we show that despite using one round of communication, the method is competitive with other FL techniques, and outperforms them on heterogeneous settings. The code is publicly available at https://github.com/hasanmohsin/FedPredSpace_1Round.
• Abstract（参考訳）: 予測を堅牢にすることは重要な課題です。 フェデレーション学習(fl)の別の課題は、特に異種データ設定のパフォーマンスを低下させるため、通信ラウンドの数を減らすことである。 両問題に取り組むために,グローバルモデルを学ぶという問題をベイズ的視点から考える。 クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 これは、局所モデル空間の後部を大域モデル空間後部に集約する他の研究と異なり、後部の高次元多重モーダルの性質による高い近似誤差の影響を受けやすい。 対照的に,提案手法では,出力空間の低次元化により近似が容易な予測後段の集計を行う。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。 複数の分類と回帰タスクに関する経験的評価を通じて,1ラウンドの通信を使用するにも関わらず,他のfl手法と競合することを示し,異種環境ではそれを上回ることを示した。 コードはhttps://github.com/hasanmohsin/FedPredSpace_1Roundで公開されている。

関連論文リスト

• One-Shot Federated Learning with Bayesian Pseudocoresets [19.53527340816458]
  分散関数空間推論はベイズ擬似コア集合の学習と密接に関連していることを示す。 提案手法は,最先端技術と競合する予測性能を実現するとともに,最大2桁の通信コストの大幅な削減を図っている。
  論文  参考訳（メタデータ） (2024-06-04T10:14:39Z)
• Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space [27.259110269667826]
  フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。 小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。 予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:17:16Z)
• Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
  我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。 最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T05:58:24Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
  キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。 そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。 我々はベイズ学習を利用してモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2022-06-23T03:05:12Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
  相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。 本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
  論文  参考訳（メタデータ） (2021-08-10T14:46:17Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms [21.11885845002748]
  後部推論問題として、代替的な視点を示し、フェデレーション学習を定式化する。 目的は、各クライアントデバイスがそれぞれのローカルデータの後部を推測することで、グローバルな後部分布を推論することである。 正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバルな最適化を探索する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2020-10-11T15:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。