論文の概要: Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space

• arxiv url: http://arxiv.org/abs/2312.09817v1
• Date: Fri, 15 Dec 2023 14:17:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:27:45.076191
• Title: Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space
• Title（参考訳）: 予測空間におけるベイズ推定を用いた1ラウンドフェデレート学習の校正
• Authors: Mohsin Hasan, Guojun Zhang, Kaiyang Guo, Xi Chen, Pascal Poupart
• Abstract要約: フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。 小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。 予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
• 参考スコア（独自算出の注目度）: 27.259110269667826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) involves training a model over a dataset distributed among clients, with the constraint that each client's dataset is localized and possibly heterogeneous. In FL, small and noisy datasets are common, highlighting the need for well-calibrated models that represent the uncertainty of predictions. The closest FL techniques to achieving such goals are the Bayesian FL methods which collect parameter samples from local posteriors, and aggregate them to approximate the global posterior. To improve scalability for larger models, one common Bayesian approach is to approximate the global predictive posterior by multiplying local predictive posteriors. In this work, we demonstrate that this method gives systematically overconfident predictions, and we remedy this by proposing $\beta$-Predictive Bayes, a Bayesian FL algorithm that interpolates between a mixture and product of the predictive posteriors, using a tunable parameter $\beta$. This parameter is tuned to improve the global ensemble's calibration, before it is distilled to a single model. Our method is evaluated on a variety of regression and classification datasets to demonstrate its superiority in calibration to other baselines, even as data heterogeneity increases. Code available at https://github.com/hasanmohsin/betaPredBayes_FL
• Abstract（参考訳）: フェデレートラーニング(FL)では、各クライアントのデータセットがローカライズされ、おそらく異種であるという制約で、クライアント間で分散されたデータセット上でモデルをトレーニングする。 FLでは、小さくノイズの多いデータセットが一般的であり、予測の不確実性を表すよく校正されたモデルの必要性を強調している。 そのような目標を達成するための最も近いFL手法は、局所的な後部からパラメータサンプルを収集し、それらを集約して大域的な後部を近似するベイズFL法である。 大きなモデルのスケーラビリティを改善するために、ベイズ的なアプローチは局所的な予測後部を乗じることで、大域的な予測後部を近似することである。 本研究では,この手法が体系的に過剰な予測を与えることを示すとともに,予測後部の混合と積を補間するベイズ的FLアルゴリズムである$\beta$-Predictive Bayesを,調整可能なパラメータ$\beta$を用いて提案する。 このパラメータは、単一のモデルに蒸留する前に、グローバルアンサンブルのキャリブレーションを改善するために調整される。 本手法は,データの不均一性が増大しても,キャリブレーションが他のベースラインよりも優れていることを示すために,様々な回帰および分類データセットを用いて評価する。 コードはhttps://github.com/hasanmohsin/betapredbayes_flで利用可能

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering [6.829317124629158]
  Federated Learning(FL)は、分散機械学習をモデル化する有望なフレームワークである。 FLは異種データや限られたデータからの性能劣化に悩まされる。 pFedBayesとcFedBayesというクラスタリングFLモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:52:40Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)
• Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
  キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。 そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。 我々はベイズ学習を利用してモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2022-06-23T03:05:12Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
  クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-20T01:06:59Z)
• Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning [5.882234707363695]
  Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす フェデアンサンブルは確立されたFL法で容易に利用することができる。
  論文  参考訳（メタデータ） (2021-07-21T14:40:14Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。