論文の概要: Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning

• arxiv url: http://arxiv.org/abs/2410.14390v1
• Date: Fri, 18 Oct 2024 11:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:45.064811
• Title: Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning
• Title（参考訳）: フェデレート学習による低ランクベイズニューラルネットワークのパーソナライズ
• Authors: Boning Zhang, Dongzhu Liu, Osvaldo Simeone, Guanchu Wang, Dimitrios Pezaros, Guangxu Zhu,
• Abstract要約: パーソナライズド・フェデレーション・ラーニング(PFL)における不確かさの定量化 本稿では,グローバルな決定論的モデルとパーソナライズされた低ランクベイズ補正を学習する新しいBPFL法であるLR-BPFLを提案する。 我々は、LR-BPFLを様々なデータセットで評価し、キャリブレーション、精度、計算およびメモリ要求の観点からその利点を実証した。
• 参考スコア（独自算出の注目度）: 43.10083248484161
• License:
• Abstract: To support real-world decision-making, it is crucial for models to be well-calibrated, i.e., to assign reliable confidence estimates to their predictions. Uncertainty quantification is particularly important in personalized federated learning (PFL), as participating clients typically have small local datasets, making it difficult to unambiguously determine optimal model parameters. Bayesian PFL (BPFL) methods can potentially enhance calibration, but they often come with considerable computational and memory requirements due to the need to track the variances of all the individual model parameters. Furthermore, different clients may exhibit heterogeneous uncertainty levels owing to varying local dataset sizes and distributions. To address these challenges, we propose LR-BPFL, a novel BPFL method that learns a global deterministic model along with personalized low-rank Bayesian corrections. To tailor the local model to each client's inherent uncertainty level, LR-BPFL incorporates an adaptive rank selection mechanism. We evaluate LR-BPFL across a variety of datasets, demonstrating its advantages in terms of calibration, accuracy, as well as computational and memory requirements.
• Abstract（参考訳）: 実世界の意思決定を支援するためには、モデルが適切に校正されること、すなわち信頼度推定を予測に割り当てることが不可欠である。 不確かさの定量化はパーソナライズド・フェデレーション・ラーニング(PFL)において特に重要である。 ベイジアン PFL (BPFL) 法はキャリブレーションを向上する可能性があるが、個々のモデルパラメータのばらつきを追跡する必要があるため、計算量やメモリの要求がかなり大きい場合が多い。 さらに、異なるクライアントは、ローカルデータセットのサイズや分布が異なるため、不均一な不確実性レベルを示す可能性がある。 これらの課題に対処するために,世界的決定論的モデルとパーソナライズされた低ランクベイズ補正を学習する新しいBPFL法であるLR-BPFLを提案する。 各クライアント固有の不確実性レベルに局所モデルを調整するために、LR-BPFLには適応的なランク選択機構が組み込まれている。 我々は、LR-BPFLを様々なデータセットで評価し、キャリブレーション、精度、計算およびメモリ要求の観点からその利点を実証した。

関連論文リスト

• Unlocking the Potential of Model Calibration in Federated Learning [15.93119575317457]
  モデルキャリブレーションの概念とFLを統合した汎用フレームワークであるNon-Uniform for Federated Learning (NUCFL)を提案する。 OurFLは、各クライアントのローカルモデルとFLのグローバルモデルの関係に基づいてモデルキャリブレーションを動的に調整することで、この問題に対処する。 これにより、FLは精度を犠牲にすることなく、グローバルモデルのキャリブレーション要求を効果的に調整する。
  論文  参考訳（メタデータ） (2024-09-07T20:11:11Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
  集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。 決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
  論文  参考訳（メタデータ） (2024-03-22T15:02:24Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
  本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。 実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-19T12:45:19Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。