論文の概要: Federated Learning with Uncertainty via Distilled Predictive
Distributions
- arxiv url: http://arxiv.org/abs/2206.07562v2
- Date: Sun, 1 Oct 2023 16:18:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 21:18:07.772113
- Title: Federated Learning with Uncertainty via Distilled Predictive
Distributions
- Title(参考訳): 蒸留予測分布による不確かさによるフェデレーション学習
- Authors: Shrey Bhatt, Aishwarya Gupta, Piyush Rai
- Abstract要約: 筆者らは,各ラウンドにおいて,各クライアントがパラメータや後部予測分布(PPD)だけでなく,後部分布を推定する不確実性を伴うフェデレーション学習の枠組みを提案する。
連邦学習における最近のベイズ的アプローチとは異なり、我々のアプローチでは各クライアントからサーバにパラメータの後方分布全体を送信する必要はない。
我々の手法は、クライアントの後部分布の形式やPDの形式など、制限的な仮定を一切行いません。
- 参考スコア(独自算出の注目度): 14.828509220023387
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Most existing federated learning methods are unable to estimate
model/predictive uncertainty since the client models are trained using the
standard loss function minimization approach which ignores such uncertainties.
In many situations, however, especially in limited data settings, it is
beneficial to take into account the uncertainty in the model parameters at each
client as it leads to more accurate predictions and also because reliable
estimates of uncertainty can be used for tasks, such as out-of-distribution
(OOD) detection, and sequential decision-making tasks, such as active learning.
We present a framework for federated learning with uncertainty where, in each
round, each client infers the posterior distribution over its parameters as
well as the posterior predictive distribution (PPD), distills the PPD into a
single deep neural network, and sends this network to the server. Unlike some
of the recent Bayesian approaches to federated learning, our approach does not
require sending the whole posterior distribution of the parameters from each
client to the server but only the PPD in the distilled form as a deep neural
network. In addition, when making predictions at test time, it does not require
computationally expensive Monte-Carlo averaging over the posterior distribution
because our approach always maintains the PPD in the form of a single deep
neural network. Moreover, our approach does not make any restrictive
assumptions, such as the form of the clients' posterior distributions, or of
their PPDs. We evaluate our approach on classification in federated setting, as
well as active learning and OOD detection in federated settings, on which our
approach outperforms various existing federated learning baselines.
- Abstract(参考訳): 既存のフェデレーション学習法は、クライアントモデルがそのような不確実性を無視する標準損失関数最小化アプローチを用いて訓練されるため、モデル/予測的不確実性を推定できない。
しかし、多くの状況において、特に限られたデータ設定においては、より正確な予測につながるため、クライアント毎のモデルパラメータの不確実性を考慮することは有益であり、また、アウト・オブ・ディストリビューション(OOD)検出やアクティブ・ラーニングのようなシーケンシャルな意思決定タスクに不確実性の推定を使用できる。
本稿では,各ラウンドにおいて,各クライアントがパラメータと後部予測分布(PPD)を推定し,PDを1つの深層ニューラルネットワークに蒸留し,このネットワークをサーバに送信する,不確実性のある統合学習フレームワークを提案する。
最近の連合学習に対するベイズ的アプローチと異なり、このアプローチでは各クライアントからサーバへのパラメータの後方分布全体を送信する必要はなく、蒸留形式のppdのみをディープニューラルネットワークとして送信する。
さらに,テスト時に予測を行う場合,1つのディープニューラルネットワークの形でPSDを常に維持するため,計算コストのかかるモンテカルロ平均化は不要である。
さらに,本手法では,クライアントの後部分布の形式やPDの形式など,制限的な仮定は行わない。
提案手法は,フェデレーション設定における分類,およびフェデレーション設定におけるアクティブラーニングとood検出のアプローチを評価し,既存のフェデレーション学習ベースラインよりも優れる。
関連論文リスト
- Trustworthy Personalized Bayesian Federated Learning via Posterior
Fine-Tune [3.1001287855313966]
ベイズ的手法を取り入れた,個人化されたフェデレーション学習のための新しいフレームワークを提案する。
我々は,新しいアルゴリズムが精度を向上するだけでなく,OOD検出においてベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-02-25T13:28:08Z) - Generative Posterior Networks for Approximately Bayesian Epistemic
Uncertainty Estimation [11.66240919177989]
本稿では,ラベルのないデータを用いて高次元問題における不確実性を推定するGPN(Generative Posterior Networks)を提案する。
GPNは、関数上の事前分布を与えられた後続分布を直接近似する生成モデルである。
論文 参考訳(メタデータ) (2023-12-29T00:43:41Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-28T18:33:26Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Posterior Network: Uncertainty Estimation without OOD Samples via
Density-Based Pseudo-Counts [33.45069308137142]
Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。
PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
論文 参考訳(メタデータ) (2020-06-16T15:16:32Z) - Uncertainty-Aware Deep Classifiers using Generative Models [7.486679152591502]
ディープニューラルネットワークは、しばしば、彼らが知らないことについて無知であり、インフォームド予測を行うときに過信する。
最近のアプローチでは、クラス境界に近いデータサンプルやトレーニング分布の外側から、モデルに高い不確実性を出力するようにトレーニングすることで、不確実性を直接定量化している。
本研究では,アレータ性およびてんかん性不確実性の両方を表現し,決定境界と分布外領域を識別できる新しいニューラルネットワークモデルを構築した。
論文 参考訳(メタデータ) (2020-06-07T15:38:35Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。