論文の概要: Information-Geometric Barycenters for Bayesian Federated Learning

• arxiv url: http://arxiv.org/abs/2412.11646v2
• Date: Wed, 07 May 2025 11:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 14:59:11.768689
• Title: Information-Geometric Barycenters for Bayesian Federated Learning
• Title（参考訳）: ベイジアンフェデレーション学習のための情報幾何学的バリセンター
• Authors: Nour Jamoussi, Giuseppe Serra, Photios A. Stavrou, Marios Kountouris,
• Abstract要約: フェデレートラーニング(FL)は、局所的に訓練されたモデルの平均化を通じてコンセンサスを達成するために用いられる。 効果はあるが、このアプローチは、モデル空間が分布空間の構造を持つベイズ予想とうまく一致しないかもしれない。 非依存的な設定におけるフェデレーション平均化の収束特性を保持するアルゴリズムであるBA-FLBを提案する。
• 参考スコア（独自算出の注目度）: 9.670266892454945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a widely used and impactful distributed optimization framework that achieves consensus through averaging locally trained models. While effective, this approach may not align well with Bayesian inference, where the model space has the structure of a distribution space. Taking an information-geometric perspective, we reinterpret FL aggregation as the problem of finding the barycenter of local posteriors using a prespecified divergence metric, minimizing the average discrepancy across clients. This perspective provides a unifying framework that generalizes many existing methods and offers crisp insights into their theoretical underpinnings. We then propose BA-BFL, an algorithm that retains the convergence properties of Federated Averaging in non-convex settings. In non-independent and identically distributed scenarios, we conduct extensive comparisons with statistical aggregation techniques, showing that BA-BFL achieves performance comparable to state-of-the-art methods while offering a geometric interpretation of the aggregation phase. Additionally, we extend our analysis to Hybrid Bayesian Deep Learning, exploring the impact of Bayesian layers on uncertainty quantification and model calibration.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、局所的に訓練されたモデルの平均化を通じてコンセンサスを達成する、広く使われている、影響力のある分散最適化フレームワークである。 効果はあるが、このアプローチは、モデル空間が分布空間の構造を持つベイズ予想とうまく一致しないかもしれない。 情報幾何学的観点から、我々はFLアグリゲーションを、予め特定されたばらつき尺度を用いて、クライアント間の平均的な不一致を最小限に抑えながら、局所的な後方のバリセンタを見つける問題として再解釈する。 この観点は、既存の多くのメソッドを一般化する統一されたフレームワークを提供し、理論的な基盤に関する鮮明な洞察を提供する。 次に,非凸条件下でのフェデレーション平均値の収束特性を保持するアルゴリズムであるBA-BFLを提案する。 非独立かつ同一に分散したシナリオにおいて,BA-BFLは,集計フェーズの幾何学的解釈を提供しながら,最先端の手法に匹敵する性能を発揮することを示す統計集約手法と広範囲に比較する。 さらに、ベイズ層が不確実性定量化とモデル校正に与える影響を探索し、ハイブリッドベイズディープラーニングに分析を拡張した。

関連論文リスト

• Robust and Scalable Variational Bayes [2.014089835498735]
  本稿では,大規模なデータセットにおいて,外れ値や任意の性質の汚染を効果的に処理する変動ベイズ(VB)のための頑健なフレームワークを提案する。 提案手法では,データセットを解離部分集合に分割し,各部分集合の後方を計算し,これらの部分集合に独立してVB近似を適用する。 この新しいアグリゲーション法は、変分媒介後(VM-Posterior)分布を生成する。
  論文  参考訳（メタデータ） (2025-04-16T23:20:43Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians [24.473522267391072]
  本研究では,実測地線勾配Descent とHybrid Gradient Descent と名づけられたBures-Wasserstein多様体上のアルゴリズムを開発した。 両手法の理論的収束保証を確立し、エクサクソン測地勾配Descentアルゴリズムが非次元収束率を得ることを示す。
  論文  参考訳（メタデータ） (2024-10-10T17:01:57Z)
• ScoreFusion: fusing score-based generative models via Kullback-Leibler barycenters [8.08976346461518]
  ScoreFusionは,複数の事前学習拡散モデルを融合させる理論的な基礎的手法である。 我々の出発点は、KL の感覚において最適なパラメトリッククラスであることが証明された補助集団の KL バリセンタの族を考えることである。 学習問題を点数拡散におけるスコアマッチングとして再キャストすることにより、最適なKLバリセンター重みを計算できるトラクタブルな方法を得る。
  論文  参考訳（メタデータ） (2024-06-28T03:02:25Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Bayesian Federated Inference for regression models based on non-shared multicenter data sets from heterogeneous populations [0.0]
  回帰モデルでは、サンプルサイズは予測器の数に対して十分な大きさでなければならない。 異なる(医療)センターで収集された異なるデータセットからデータをポーリングすることはこの問題を軽減するが、プライバシー規制やロジスティックな問題のためにしばしば実現不可能である。 別の方法は、センター内のローカルデータを別々に分析し、統計的推測結果とベイズ連邦推論(BFI)手法を組み合わせることである。 このアプローチの目的は、組み合わせたデータに対して統計的解析を行った場合、何を発見したのかを、別々の中心における推論結果から計算することである。
  論文  参考訳（メタデータ） (2024-02-05T11:10:27Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Bayesian data-driven discovery of partial differential equations with variable coefficients [9.331440154110117]
  可変係数を用いたPDE探索のための高度なベイズスパース学習アルゴリズムを提案する。 実験では, 雑音環境下でのベースライン法よりも, tBGL-SS法の方がロバストであることを示す。
  論文  参考訳（メタデータ） (2021-02-02T11:05:34Z)
• Continuous Regularized Wasserstein Barycenters [51.620781112674024]
  正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。 我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
  論文  参考訳（メタデータ） (2020-08-28T08:28:06Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Disentangled Representation Learning with Wasserstein Total Correlation [90.44329632061076]
  本稿では,変分オートエンコーダとワッサースタインオートエンコーダの設定に総相関を導入し,非絡み付き潜在表現を学習する。 批評家は、ワッサーシュタインの総相関項を推定する主な目的と共に、敵対的に訓練される。 提案手法は, 再建能力の犠牲が小さく, 絡み合いに匹敵する性能を有することを示す。
  論文  参考訳（メタデータ） (2019-12-30T05:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。