論文の概要: Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms

• arxiv url: http://arxiv.org/abs/2211.00100v1
• Date: Mon, 31 Oct 2022 19:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 13:15:02.159459
• Title: Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
• Title（参考訳）: Federated Averaging Langevin Dynamics : 統一理論と新しいアルゴリズムを目指して
• Authors: Vincent Plassier, Alain Durmus, Eric Moulines
• Abstract要約: Federated Averaging Langevin Dynamics (FALD)を導入し、Federated Averagingアルゴリズムをベイズ推論に拡張した。 本稿では,連邦学習文脈(FL)におけるベイズ推論に焦点を当てる。
• 参考スコア（独自算出の注目度）: 25.718885251347825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on Bayesian inference in a federated learning context (FL). While several distributed MCMC algorithms have been proposed, few consider the specific limitations of FL such as communication bottlenecks and statistical heterogeneity. Recently, Federated Averaging Langevin Dynamics (FALD) was introduced, which extends the Federated Averaging algorithm to Bayesian inference. We obtain a novel tight non-asymptotic upper bound on the Wasserstein distance to the global posterior for FALD. This bound highlights the effects of statistical heterogeneity, which causes a drift in the local updates that negatively impacts convergence. We propose a new algorithm VR-FALD* that uses control variates to correct the client drift. We establish non-asymptotic bounds showing that VR-FALD* is not affected by statistical heterogeneity. Finally, we illustrate our results on several FL benchmarks for Bayesian inference.
• Abstract（参考訳）: 本稿では,連邦学習文脈(FL)におけるベイズ推論に焦点を当てた。 いくつかの分散MCMCアルゴリズムが提案されているが、通信ボトルネックや統計的不均一性などのFLの特定の制限を考慮するものはほとんどない。 近年,フェデレート平均化アルゴリズムをベイズ推定に拡張したフェデレート平均化ランジュバンダイナミクス(fald)が導入された。 FALDではワッサーシュタイン距離から大域後方への新たな非漸近上界が得られる。 この境界は、収束に悪影響を及ぼす局所的な更新の漂流を引き起こす統計的不均一性の影響を強調している。 制御変数を用いてクライアントのドリフトを補正する新しいアルゴリズムvr-fald*を提案する。 vr-fald*が統計的不均一性に影響されないことを示す非漸近境界を確立する。 最後にベイズ推定のためのいくつかのFLベンチマークについて述べる。

関連論文リスト

• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized Federated Learning with Heterogeneous Data [12.701031075169887]
  フェデレーテッド・ラーニング(FL)は、データプライバシ保護、効率的な通信、並列データ処理といったメリットにより、近年、注目を集めている。 FLの既存の作業の多くは、データと集中型パラメータサーバを持つシステムに限られている。 我々は、データ不均一性を持つ完全分散FLシステムのための新しいアルゴリズム、NET-FLEETを提案する。
  論文  参考訳（メタデータ） (2022-08-17T19:17:23Z)
• On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
  本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。 非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。 部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
  論文  参考訳（メタデータ） (2021-12-09T18:54:29Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• Achieving Statistical Optimality of Federated Learning: Beyond Stationary Points [19.891597817559038]
  Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。 最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。 一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:59:43Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
  フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。 本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。 また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
  論文  参考訳（メタデータ） (2020-07-11T05:59:08Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。