論文の概要: Bayesian Federated Learning via Predictive Distribution Distillation
- arxiv url: http://arxiv.org/abs/2206.07562v1
- Date: Wed, 15 Jun 2022 14:24:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 12:39:58.499810
- Title: Bayesian Federated Learning via Predictive Distribution Distillation
- Title（参考訳）: 予測分布蒸留によるベイズ連関学習
- Authors: Shrey Bhatt, Aishwarya Gupta, Piyush Rai
- Abstract要約: 既存のほとんどのフェデレーション学習アルゴリズムでは、各ラウンドは各クライアントで損失関数を最小化し、クライアントで最適なモデルを学ぶ。
本稿では,各クライアントがトレーニングデータを用いて後続予測分布を推定し,クライアント固有の予測分布をサーバに集約する,ベイズ連合学習のためのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 26.63017104265798
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For most existing federated learning algorithms, each round consists of
minimizing a loss function at each client to learn an optimal model at the
client, followed by aggregating these client models at the server. Point
estimation of the model parameters at the clients does not take into account
the uncertainty in the models estimated at each client. In many situations,
however, especially in limited data settings, it is beneficial to take into
account the uncertainty in the client models for more accurate and robust
predictions. Uncertainty also provides useful information for other important
tasks, such as active learning and out-of-distribution (OOD) detection. We
present a framework for Bayesian federated learning where each client infers
the posterior predictive distribution using its training data and present
various ways to aggregate these client-specific predictive distributions at the
server. Since communicating and aggregating predictive distributions can be
challenging and expensive, our approach is based on distilling each client's
predictive distribution into a single deep neural network. This enables us to
leverage advances in standard federated learning to Bayesian federated learning
as well. Unlike some recent works that have tried to estimate model uncertainty
of each client, our work also does not make any restrictive assumptions, such
as the form of the client's posterior distribution. We evaluate our approach on
classification in federated setting, as well as active learning and OOD
detection in federated settings, on which our approach outperforms various
existing federated learning baselines.
- Abstract（参考訳）: 既存のフェデレーション学習アルゴリズムでは、各ラウンドは各クライアントの損失関数を最小化し、クライアントで最適なモデルを学び、その後、サーバでこれらのクライアントモデルを集約する。
クライアントのモデルパラメータのポイント推定は、各クライアントで推定されるモデルの不確実性を考慮していない。
しかし、多くの状況、特に限られたデータ設定では、より正確で堅牢な予測のためにクライアントモデルの不確実性を考慮することが有益である。
不確実性は、アクティブラーニングやood(out-of-distribution)検出など、他の重要なタスクにも有用な情報を提供する。
本稿では,各クライアントがトレーニングデータを用いて後続予測分布を推定し,クライアント固有の予測分布をサーバに集約する,ベイズ連合学習のためのフレームワークを提案する。
予測分布の通信と集約は困難でコストがかかるため、我々のアプローチは、各クライアントの予測分布を単一のディープニューラルネットワークに蒸留することに基づいている。
これにより、ベイズ連邦学習への標準フェデレーション学習の進歩を活用できる。
各クライアントのモデル不確実性を推定しようとする最近の研究とは異なり、我々の研究はクライアントの後部分布の形式のような制限的な仮定も行いません。
提案手法は,フェデレーション設定における分類,およびフェデレーション設定におけるアクティブラーニングとood検出のアプローチを評価し,既存のフェデレーション学習ベースラインよりも優れる。
関連論文リスト
- Trustworthy Personalized Bayesian Federated Learning via Posterior
Fine-Tune [3.1001287855313966]
ベイズ的手法を取り入れた,個人化されたフェデレーション学習のための新しいフレームワークを提案する。
我々は,新しいアルゴリズムが精度を向上するだけでなく,OOD検出においてベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-02-25T13:28:08Z) - Generative Posterior Networks for Approximately Bayesian Epistemic
Uncertainty Estimation [11.66240919177989]
本稿では,ラベルのないデータを用いて高次元問題における不確実性を推定するGPN(Generative Posterior Networks)を提案する。
GPNは、関数上の事前分布を与えられた後続分布を直接近似する生成モデルである。
論文 参考訳（メタデータ） (2023-12-29T00:43:41Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Posterior Network: Uncertainty Estimation without OOD Samples via
Density-Based Pseudo-Counts [33.45069308137142]
Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。
PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
論文 参考訳（メタデータ） (2020-06-16T15:16:32Z) - Uncertainty-Aware Deep Classifiers using Generative Models [7.486679152591502]
ディープニューラルネットワークは、しばしば、彼らが知らないことについて無知であり、インフォームド予測を行うときに過信する。
最近のアプローチでは、クラス境界に近いデータサンプルやトレーニング分布の外側から、モデルに高い不確実性を出力するようにトレーニングすることで、不確実性を直接定量化している。
本研究では,アレータ性およびてんかん性不確実性の両方を表現し,決定境界と分布外領域を識別できる新しいニューラルネットワークモデルを構築した。
論文 参考訳（メタデータ） (2020-06-07T15:38:35Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。