論文の概要: Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach

• arxiv url: http://arxiv.org/abs/2302.04228v1
• Date: Wed, 8 Feb 2023 17:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 15:15:41.086362
• Title: Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach
• Title（参考訳）: 変分推論としてのフェデレーション学習:スケーラブルな期待伝播アプローチ
• Authors: Han Guo, Philip Greengard, Hongyi Wang, Andrew Gelman, Yoon Kim, Eric P. Xing
• Abstract要約: 本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 66.9033666087719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The canonical formulation of federated learning treats it as a distributed optimization problem where the model parameters are optimized against a global loss function that decomposes across client loss functions. A recent alternative formulation instead treats federated learning as a distributed inference problem, where the goal is to infer a global posterior from partitioned client data (Al-Shedivat et al., 2021). This paper extends the inference view and describes a variational inference formulation of federated learning where the goal is to find a global variational posterior that well-approximates the true posterior. This naturally motivates an expectation propagation approach to federated learning (FedEP), where approximations to the global posterior are iteratively refined through probabilistic message-passing between the central server and the clients. We conduct an extensive empirical study across various algorithmic considerations and describe practical strategies for scaling up expectation propagation to the modern federated setting. We apply FedEP on standard federated learning benchmarks and find that it outperforms strong baselines in terms of both convergence speed and accuracy.
• Abstract（参考訳）: 連合学習の標準的な定式化は、モデルパラメータをクライアントの損失関数を分解するグローバルな損失関数に対して最適化する分散最適化問題として扱う。 最近の代替案では、分散推論問題としてフェデレート学習を扱い、分割されたクライアントデータ(al-shedivat et al., 2021)からグローバル後方を推測することが目標となっている。 本稿では, 推論の観点を拡張し, 真の後部をよく近似する大域的変動後部を見つけることを目標とするフェデレーション学習の変分推論の定式化について述べる。 これは、中央サーバとクライアント間の確率的メッセージパッシングによって、グローバルな後部への近似を反復的に洗練するフェデレーション学習(FedEP)への期待伝播アプローチを自然に動機付けている。 我々は,様々なアルゴリズム的考察を通じて広範な実証研究を行い,期待伝播を現代的フェデレーション環境に拡大するための実践的戦略について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。

関連論文リスト

• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Adaptive Global-Local Representation Learning and Selection for Cross-Domain Facial Expression Recognition [54.334773598942775]
  ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる 適応的グローバルローカル表現学習・選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-20T02:21:41Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Boosting Variational Inference With Locally Adaptive Step-Sizes [27.122745595473383]
  変分推論の強化により、より多くの計算に費やすことで、実践者はより優れた後部近似を得られるようになる。 Boosting Variational Inferenceが広く採用される主な障害は、強力な変動推論ベースラインよりも改善に必要なリソースの量である。 本稿では,グローバルな曲率が時間とメモリ消費に与える影響を解説し,局所曲率の概念を用いてこの問題に対処し,局所曲率を推定するための新しい近似バックトラックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-19T16:41:33Z)
• Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms [21.11885845002748]
  後部推論問題として、代替的な視点を示し、フェデレーション学習を定式化する。 目的は、各クライアントデバイスがそれぞれのローカルデータの後部を推測することで、グローバルな後部分布を推論することである。 正確な推論はしばしば難解であるが、この観点は、フェデレートされた設定でグローバルな最適化を探索する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2020-10-11T15:55:45Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。