論文の概要: Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms

• arxiv url: http://arxiv.org/abs/2010.05273v4
• Date: Sat, 30 Jan 2021 01:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 12:40:05.670086
• Title: Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms
• Title（参考訳）: 後部平均化によるフェデレーションラーニング:新しい視点と実践的アルゴリズム
• Authors: Maruan Al-Shedivat, Jennifer Gillenwater, Eric Xing, Afshin Rostamizadeh
• Abstract要約: 後部推論問題として、代替的な視点を示し、フェデレーション学習を定式化する。 目的は、各クライアントデバイスがそれぞれのローカルデータの後部を推測することで、グローバルな後部分布を推論することである。 正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバルな最適化を探索する原則的な方法を提供する。
• 参考スコア（独自算出の注目度）: 21.11885845002748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is typically approached as an optimization problem, where the goal is to minimize a global loss function by distributing computation across client devices that possess local data and specify different parts of the global objective. We present an alternative perspective and formulate federated learning as a posterior inference problem, where the goal is to infer a global posterior distribution by having client devices each infer the posterior of their local data. While exact inference is often intractable, this perspective provides a principled way to search for global optima in federated settings. Further, starting with the analysis of federated quadratic objectives, we develop a computation- and communication-efficient approximate posterior inference algorithm -- federated posterior averaging (FedPA). Our algorithm uses MCMC for approximate inference of local posteriors on the clients and efficiently communicates their statistics to the server, where the latter uses them to refine a global estimate of the posterior mode. Finally, we show that FedPA generalizes federated averaging (FedAvg), can similarly benefit from adaptive optimizers, and yields state-of-the-art results on four realistic and challenging benchmarks, converging faster, to better optima.
• Abstract（参考訳）: フェデレーション学習は、通常最適化問題としてアプローチされ、ローカルデータを所有するクライアントデバイス間で計算を分散し、グローバル目的の異なる部分を特定することで、グローバル損失関数を最小化することを目的としている。 そこで本研究では,各クライアント装置に局所データの後方を推定させることで,グローバル後方分布を推定することを目的として,後進推論問題としてフェデレート学習を定式化する。 正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバル最適を探索する原則的な方法を提供する。 さらに,フェデレート二次目的の分析から,計算効率と通信効率の良い近似後頭推定アルゴリズムであるフェデレート後頭平均化法(federated posterior averaging, fedpa)を開発した。 提案手法はmcmcを用いてクライアント上での局所的な後方推定を近似し,その統計情報をサーバに効率的に伝達する。 最後に、FedPAがフェデレーション平均化(FedAvg)を一般化し、適応オプティマイザの利点を享受し、4つの現実的かつ挑戦的なベンチマークで最新結果を得られることを示し、より高速に収束し、最適化を改善する。

関連論文リスト

• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
  クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-20T01:06:59Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。