論文の概要: Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models
- arxiv url: http://arxiv.org/abs/2403.15263v2
- Date: Thu, 4 Apr 2024 19:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 18:06:16.493704
- Title: Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models
- Title（参考訳）: Federated Bayesian Deep Learning: 統計的集約法のベイズモデルへの応用
- Authors: John Fischer, Marko Orescanin, Justin Loomis, Patrick McClure,
- Abstract要約: 集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
- 参考スコア（独自算出の注目度）: 0.9940108090221528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is an approach to training machine learning models that takes advantage of multiple distributed datasets while maintaining data privacy and reducing communication costs associated with sharing local datasets. Aggregation strategies have been developed to pool or fuse the weights and biases of distributed deterministic models; however, modern deterministic deep learning (DL) models are often poorly calibrated and lack the ability to communicate a measure of epistemic uncertainty in prediction, which is desirable for remote sensing platforms and safety-critical applications. Conversely, Bayesian DL models are often well calibrated and capable of quantifying and communicating a measure of epistemic uncertainty along with a competitive prediction accuracy. Unfortunately, because the weights and biases in Bayesian DL models are defined by a probability distribution, simple application of the aggregation methods associated with FL schemes for deterministic models is either impossible or results in sub-optimal performance. In this work, we use independent and identically distributed (IID) and non-IID partitions of the CIFAR-10 dataset and a fully variational ResNet-20 architecture to analyze six different aggregation strategies for Bayesian DL models. Additionally, we analyze the traditional federated averaging approach applied to an approximate Bayesian Monte Carlo dropout model as a lightweight alternative to more complex variational inference methods in FL. We show that aggregation strategy is a key hyperparameter in the design of a Bayesian FL system with downstream effects on accuracy, calibration, uncertainty quantification, training stability, and client compute requirements.
- Abstract（参考訳）: フェデレーション・ラーニング(FL)は、複数の分散データセットを活用しながらデータのプライバシを維持し、ローカルデータセットの共有に関連する通信コストを低減する機械学習モデルをトレーニングするアプローチである。
分散決定論的モデルの重みとバイアスをプールまたはフューズするために集約戦略が開発されたが、現代の決定論的深層学習(DL)モデルは、しばしば調整が不十分であり、リモートセンシングプラットフォームや安全クリティカルなアプリケーションに望ましい、予測における疫学的不確実性の尺度を伝える能力が欠如している。
逆に、ベイジアンDLモデルはよく校正され、競合予測精度とともにててんかんの不確実性の尺度を定量化し、伝達することができる。
残念なことに、ベイズDLモデルの重みとバイアスは確率分布によって定義されるため、決定論的モデルに対するFLスキームに付随するアグリゲーション手法の単純な適用は不可能か、あるいは準最適性能をもたらす。
本研究では,CIFAR-10データセットの独立分散IIDおよび非IIDパーティションとResNet-20アーキテクチャを用いて,ベイジアンDLモデルの6つの異なる集約戦略を解析する。
さらに,ベイジアンモンテカルロのドロップアウトモデルに適用された従来のフェデレーション平均化手法を,FLにおけるより複雑な変分推論手法の軽量な代替手段として解析した。
ベイズ型FLシステムの設計における集約戦略は, 精度, 校正, 不確実性定量化, トレーニング安定性, クライアントの計算要求に影響を及ぼす重要なパラメータであることを示す。
関連論文リスト
- On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。
我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。
実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-07-23T11:35:42Z) - Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications [0.0]
本研究では,合成データを用いたモデル適応と一般化について検討する。
我々は、データ類似性を評価するために、Kullback-Leiblerの発散、Jensen-Shannon距離、Mahalanobis距離などの量的尺度を用いる。
本研究は,マハラノビス距離などの統計指標を用いて,モデル予測が低誤差の「補間体制」内にあるか,あるいは高誤差の「補間体制」が分布変化とモデル不確実性を評価するための補完的手法を提供することを示唆している。
論文 参考訳（メタデータ） (2024-05-03T10:05:31Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Calibration-Aware Bayesian Learning [37.82259435084825]
本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。
ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。
予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
論文 参考訳（メタデータ） (2023-05-12T14:19:15Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - How to Combine Variational Bayesian Networks in Federated Learning [0.0]
フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。
決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。
変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
論文 参考訳（メタデータ） (2022-06-22T07:53:12Z) - Prototype Guided Federated Learning of Visual Feature Representations [15.021124010665194]
Federated Learning(FL)は、分散モデルトレーニングを可能にするフレームワークである。
既存の手法は、内部表現を無視したモデルを集約する。
我々は、分散データ上で学習した表現のマージンを用いてクライアントの偏差を計算するFedProtoを紹介する。
論文 参考訳（メタデータ） (2021-05-19T08:29:12Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。