論文の概要: Trustworthy Personalized Bayesian Federated Learning via Posterior Fine-Tune

• arxiv url: http://arxiv.org/abs/2402.16911v1
• Date: Sun, 25 Feb 2024 13:28:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 19:12:39.817245
• Title: Trustworthy Personalized Bayesian Federated Learning via Posterior Fine-Tune
• Title（参考訳）: 後方ファインチューンによる信頼できる個人化ベイズ連邦学習
• Authors: Mengen Luo, Chi Xu, Ercan Engin Kuruoglu
• Abstract要約: ベイズ的手法を取り入れた,個人化されたフェデレーション学習のための新しいフレームワークを提案する。 我々は,新しいアルゴリズムが精度を向上するだけでなく,OOD検出においてベースラインを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 3.1001287855313966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance degradation owing to data heterogeneity and low output interpretability are the most significant challenges faced by federated learning in practical applications. Personalized federated learning diverges from traditional approaches, as it no longer seeks to train a single model, but instead tailors a unique personalized model for each client. However, previous work focused only on personalization from the perspective of neural network parameters and lack of robustness and interpretability. In this work, we establish a novel framework for personalized federated learning, incorporating Bayesian methodology which enhances the algorithm's ability to quantify uncertainty. Furthermore, we introduce normalizing flow to achieve personalization from the parameter posterior perspective and theoretically analyze the impact of normalizing flow on out-of-distribution (OOD) detection for Bayesian neural networks. Finally, we evaluated our approach on heterogeneous datasets, and the experimental results indicate that the new algorithm not only improves accuracy but also outperforms the baseline significantly in OOD detection due to the reliable output of the Bayesian approach.
• Abstract（参考訳）: データの不均一性と低出力解釈可能性による性能劣化は、実践的応用においてフェデレート学習が直面する最も重要な課題である。 パーソナライズされた連合学習は、従来のアプローチとは異なっている。単一のモデルをトレーニングすることではなく、各クライアントにユニークなパーソナライズされたモデルを提供するのだ。 しかしながら、従来の研究は、ニューラルネットワークのパラメータや堅牢性や解釈性の欠如の観点からのパーソナライズにのみ焦点を当てていた。 本研究では,不確かさを定量化するアルゴリズムの能力を高めるベイズ手法を取り入れた,パーソナライズされた連合学習のための新しい枠組みを確立する。 さらに,パラメータの後方からパーソナライズを行うために正規化フローを導入し,ベイズ型ニューラルネットワークのアウト・オブ・ディストリビューション(ood)検出における正規化フローの影響を理論的に解析する。 最後に, 不均質なデータセットに対するアプローチを評価し, 実験結果から, 新しいアルゴリズムは精度を向上させるだけでなく, ベイズ手法の信頼性の高い出力により, ood検出のベースラインを大きく上回ることを示した。

関連論文リスト

• Refining 3D Point Cloud Normal Estimation via Sample Selection [13.207964615561261]
  我々は,グローバルな情報と様々な制約機構を組み込むことにより,正規推定の基本的枠組みを導入し,既存モデルを拡張した。 また,非オブジェクト指向タスクと非オブジェクト指向タスクの両方における最先端性能を達成し,推定された非オブジェクト指向の正規性を補正するために,既存の配向手法を利用する。
  論文  参考訳（メタデータ） (2024-05-20T02:06:10Z)
• Bayesian Neural Network For Personalized Federated Learning Parameter Selection [2.130283000112442]
  異種データの存在下でのフェデレーション学習の性能の低下は、この分野でもっとも差し迫った問題の一つである。 本研究では,従来の階層レベルのパーソナライズではなく,要素レベルのパーソナライズを提案する。 我々は,提案手法が既存のベースラインより優れていることを示すために,実世界の複数のデータセットに対してアルゴリズムの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-25T13:37:53Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Personalized Federated Learning via Variational Bayesian Inference [6.671486716769351]
  フェデレーション学習は、データ不足とクライアント間の統計的多様性のために、モデル過適合による大きな課題に直面します。 本稿では,pFedBayes というベイズ変分推論を用いた個人化学習手法を提案する。 実験により,提案手法はパーソナライズされたモデルにおいて,他の高度なパーソナライズされた手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-16T07:37:02Z)
• Federated Learning with Uncertainty via Distilled Predictive Distributions [14.828509220023387]
  筆者らは,各ラウンドにおいて,各クライアントがパラメータや後部予測分布(PPD)だけでなく,後部分布を推定する不確実性を伴うフェデレーション学習の枠組みを提案する。 連邦学習における最近のベイズ的アプローチとは異なり、我々のアプローチでは各クライアントからサーバにパラメータの後方分布全体を送信する必要はない。 我々の手法は、クライアントの後部分布の形式やPDの形式など、制限的な仮定を一切行いません。
  論文  参考訳（メタデータ） (2022-06-15T14:24:59Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。