論文の概要: BA-BFL: Barycentric Aggregation for Bayesian Federated Learning
- arxiv url: http://arxiv.org/abs/2412.11646v1
- Date: Mon, 16 Dec 2024 10:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:54:08.780334
- Title: BA-BFL: Barycentric Aggregation for Bayesian Federated Learning
- Title（参考訳）: BA-BFL:ベイジアン・フェデレート・ラーニングのためのバリー中心アグリゲーション
- Authors: Nour Jamoussi, Giuseppe Serra, Photios A. Stavrou, Marios Kountouris,
- Abstract要約: ベイズ連邦学習(BFL)の文脈における集約の問題について検討する。
情報幾何学的視点を用いて,BFLアグリゲーションのステップを,予め特定された発散度測定値に対するトレーニング後部のバリセンタの発見と解釈する。
非IID設定を考慮し、最先端(SOTA)ベイズアグリゲーション法に対して開発したアルゴリズムの性能を解析する。
- 参考スコア（独自算出の注目度）: 9.670266892454945
- License:
- Abstract: In this work, we study the problem of aggregation in the context of Bayesian Federated Learning (BFL). Using an information geometric perspective, we interpret the BFL aggregation step as finding the barycenter of the trained posteriors for a pre-specified divergence metric. We study the barycenter problem for the parametric family of $\alpha$-divergences and, focusing on the standard case of independent and Gaussian distributed parameters, we recover the closed-form solution of the reverse Kullback-Leibler barycenter and develop the analytical form of the squared Wasserstein-2 barycenter. Considering a non-IID setup, where clients possess heterogeneous data, we analyze the performance of the developed algorithms against state-of-the-art (SOTA) Bayesian aggregation methods in terms of accuracy, uncertainty quantification (UQ), model calibration (MC), and fairness. Finally, we extend our analysis to the framework of Hybrid Bayesian Deep Learning (HBDL), where we study how the number of Bayesian layers in the architecture impacts the considered performance metrics. Our experimental results show that the proposed methodology presents comparable performance with the SOTA while offering a geometric interpretation of the aggregation phase.
- Abstract（参考訳）: 本研究では,ベイジアン・フェデレート・ラーニング(BFL)の文脈におけるアグリゲーションの問題について考察する。
情報幾何学的視点を用いて,BFLアグリゲーションのステップを,予め特定された発散度測定値に対するトレーニング後部のバリセンタの発見と解釈する。
我々は、$\alpha$-divergencesのパラメトリック族に対するバリセンタ問題を研究し、独立分布パラメータとガウス分布パラメータの標準的な場合に着目し、逆クルバック・リーバーバリセンタの閉形式解を復元し、正方形ワッサーシュタイン2バリセンタの解析形式を開発する。
クライアントが異種データを持つ非IIDセットアップを考慮し、精度、不確実性定量化(UQ)、モデルキャリブレーション(MC)、公平性の観点から、最先端(SOTA)ベイズアグリゲーション法に対して開発したアルゴリズムの性能を解析する。
最後に、分析結果をHBDL(Hybrid Bayesian Deep Learning)のフレームワークに拡張し、アーキテクチャ内のベイズ層数が考慮されたパフォーマンス指標に与える影響について検討する。
実験の結果,提案手法は集積相の幾何学的解釈を提供しながら,SOTAと同等の性能を示すことがわかった。
関連論文リスト
- On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians [24.473522267391072]
本研究では,実測地線勾配Descent とHybrid Gradient Descent と名づけられたBures-Wasserstein多様体上のアルゴリズムを開発した。
両手法の理論的収束保証を確立し、エクサクソン測地勾配Descentアルゴリズムが非次元収束率を得ることを示す。
論文 参考訳（メタデータ） (2024-10-10T17:01:57Z) - ScoreFusion: fusing score-based generative models via Kullback-Leibler barycenters [8.08976346461518]
ScoreFusionは,複数の事前学習拡散モデルを融合させる理論的な基礎的手法である。
我々の出発点は、KL の感覚において最適なパラメトリッククラスであることが証明された補助集団の KL バリセンタの族を考えることである。
学習問題を点数拡散におけるスコアマッチングとして再キャストすることにより、最適なKLバリセンター重みを計算できるトラクタブルな方法を得る。
論文 参考訳（メタデータ） (2024-06-28T03:02:25Z) - Rethinking Clustered Federated Learning in NOMA Enhanced Wireless
Networks [60.09912912343705]
本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。
データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。
非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
論文 参考訳（メタデータ） (2024-03-05T17:49:09Z) - FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。
本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。
ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
論文 参考訳（メタデータ） (2023-05-08T18:21:41Z) - Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel
Recombination [23.6031259333814]
確率収束率を有する並列(バッチ)ベイズ二次法(BQ)を提案する。
提案手法は,各種実世界のデータセットにおける最先端BQ手法とNested Smplingの両方のサンプリング効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-06-09T19:14:52Z) - GELATO: Geometrically Enriched Latent Model for Offline Reinforcement
Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。
本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。
提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文 参考訳（メタデータ） (2021-02-22T19:42:40Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Bayesian data-driven discovery of partial differential equations with variable coefficients [9.331440154110117]
可変係数を用いたPDE探索のための高度なベイズスパース学習アルゴリズムを提案する。
実験では, 雑音環境下でのベースライン法よりも, tBGL-SS法の方がロバストであることを示す。
論文 参考訳（メタデータ） (2021-02-02T11:05:34Z) - Continuous Regularized Wasserstein Barycenters [51.620781112674024]
正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。
我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
論文 参考訳（メタデータ） (2020-08-28T08:28:06Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Disentangled Representation Learning with Wasserstein Total Correlation [90.44329632061076]
本稿では,変分オートエンコーダとワッサースタインオートエンコーダの設定に総相関を導入し,非絡み付き潜在表現を学習する。
批評家は、ワッサーシュタインの総相関項を推定する主な目的と共に、敵対的に訓練される。
提案手法は, 再建能力の犠牲が小さく, 絡み合いに匹敵する性能を有することを示す。
論文 参考訳（メタデータ） (2019-12-30T05:31:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。