論文の概要: Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory

• arxiv url: http://arxiv.org/abs/2407.06935v1
• Date: Tue, 9 Jul 2024 15:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 17:37:36.966356
• Title: Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory
• Title（参考訳）: Hamiltonian Monte Carloによるベイズ連邦学習:アルゴリズムと理論
• Authors: Jiajun Liang, Qian Zhang, Wei Deng, Qifan Song, Guang Lin,
• Abstract要約: この研究は、新しく効率的なベイズ連合学習アルゴリズム、すなわち、フェデレート平均ハミルトニアンモンテカルロ(FA-HMC)を導入している。 非イド分散データセット上でFA-HMCの厳密な収束保証を確立する。 FA-HMCは,Federated Averaging-Langevin Monte Carlo (FA-LD)アルゴリズムよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 20.758987791387515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces a novel and efficient Bayesian federated learning algorithm, namely, the Federated Averaging stochastic Hamiltonian Monte Carlo (FA-HMC), for parameter estimation and uncertainty quantification. We establish rigorous convergence guarantees of FA-HMC on non-iid distributed data sets, under the strong convexity and Hessian smoothness assumptions. Our analysis investigates the effects of parameter space dimension, noise on gradients and momentum, and the frequency of communication (between the central node and local nodes) on the convergence and communication costs of FA-HMC. Beyond that, we establish the tightness of our analysis by showing that the convergence rate cannot be improved even for continuous FA-HMC process. Moreover, extensive empirical studies demonstrate that FA-HMC outperforms the existing Federated Averaging-Langevin Monte Carlo (FA-LD) algorithm.
• Abstract（参考訳）: この研究は、パラメータ推定と不確実性定量化のための、新しく効率的なベイズ連邦学習アルゴリズム(Federated Averaging stochastic Hamiltonian Monte Carlo (FA-HMC)を導入している。 FA-HMCの厳密な収束保証を、強い凸性とヘッセンな滑らかさの仮定の下で、非イド分散データセット上で確立する。 本研究では,パラメータ空間次元,雑音が勾配と運動量に及ぼす影響,およびFA-HMCの収束と通信コストに及ぼす通信周波数(中央ノードと局所ノード)について検討した。 さらに, 連続FA-HMCプロセスにおいても収束率が改善できないことを示すことにより, 解析の厳密性を確立した。 さらに、FA-HMCが既存のフェデレーション平均ランジュバンモンテカルロ(FA-LD)アルゴリズムより優れていることを示す実験的な研究も行われた。

関連論文リスト

• Detecting Causality in the Frequency Domain with Cross-Mapping Coherence [0.4218593777811082]
  本研究では,時系列間の周波数領域における因果関係を明らかにするために,クロス・マッピング・コヒーレンス(CMC)法を提案する。 我々は,ロジスティックマップ,ローレンツシステム,倉本発振器,および視覚野のウィルソン・コーワンモデルを用いて実験を行った。 結論として、異なる周波数帯域にまたがる有向因果影響を決定する能力により、CMCは複雑な非線形系の力学に関する貴重な洞察を提供することができる。
  論文  参考訳（メタデータ） (2024-07-30T09:43:35Z)
• On Convergence of the Alternating Directions SGHMC Algorithm [2.609441136025819]
  目標分布(SGHMC)における勾配オラクルの緩やかな条件下での跳躍フロッグ積分を用いたハミルトンモンテカルロアルゴリズムの収束速度について検討する。 提案手法は, 汎用的な補助分布を用いることにより, 標準HMCを拡張し, 代替方向の新たな手順により実現した。
  論文  参考訳（メタデータ） (2024-05-21T18:22:44Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Hamiltonian Monte Carlo Particle Swarm Optimizer [0.0]
  Hamiltonian Particle Swarm (HMCPSO) は、指数平均サンプリングとHMC位置と速度の両方の利点を享受する最適化アルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-08T04:47:34Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions [3.562271099341746]
  ハミルトンモンテカルロ (HMC) アルゴリズムに対する新しい収束解析法を提案する。 非対称運動量分布を持つ平らなHMCが重要な自己随伴性要件を破ることを示す。 我々は Alternating Direction HMC (AD-HMC) と呼ばれる改良版を提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:36:19Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。