Fugu-MT 論文翻訳(概要): FedHB: Hierarchical Bayesian Federated Learning

論文の概要: FedHB: Hierarchical Bayesian Federated Learning

arxiv url: http://arxiv.org/abs/2305.04979v1
Date: Mon, 8 May 2023 18:21:41 GMT
ステータス: 処理完了
システム内更新日: 2023-05-10 14:41:21.934053
Title: FedHB: Hierarchical Bayesian Federated Learning
Title（参考訳）: FedHB:階層型ベイズ連邦学習
Authors: Minyoung Kim, Timothy Hospedales
Abstract要約: フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
参考スコア（独自算出の注目度）: 11.936836827864095
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel hierarchical Bayesian approach to Federated Learning (FL), where our model reasonably describes the generative process of clients' local data via hierarchical Bayesian modeling: constituting random variables of local models for clients that are governed by a higher-level global variate. Interestingly, the variational inference in our Bayesian model leads to an optimisation problem whose block-coordinate descent solution becomes a distributed algorithm that is separable over clients and allows them not to reveal their own private data at all, thus fully compatible with FL. We also highlight that our block-coordinate algorithm has particular forms that subsume the well-known FL algorithms including Fed-Avg and Fed-Prox as special cases. Beyond introducing novel modeling and derivations, we also offer convergence analysis showing that our block-coordinate FL algorithm converges to an (local) optimum of the objective at the rate of $O(1/\sqrt{t})$, the same rate as regular (centralised) SGD, as well as the generalisation error analysis where we prove that the test error of our model on unseen data is guaranteed to vanish as we increase the training data size, thus asymptotically optimal.
Abstract（参考訳）: そこで本モデルは,階層ベイズモデルを用いて,クライアントの局所データの生成過程を合理的に記述する,新しい階層ベイズ学習手法を提案する。興味深いことに、我々のベイズモデルにおける変分推論は、ブロック座標降下ソリューションがクライアント上で分離可能な分散アルゴリズムとなり、彼ら自身のプライベートデータを全く明かさないため、flと完全互換となる最適化問題に繋がる。また,ブロックコーディネートアルゴリズムには,Fed-AvgやFed-Proxなどのよく知られたFLアルゴリズムを特別なケースとしてサブセットする特別な形式があることを強調した。新規なモデリングと導出の導入に加えて、我々のブロック座標FLアルゴリズムは、正規(集中)SGDと同じレートのO(1/\sqrt{t})$で目的の(局所)最適値に収束することを示す収束解析や、未確認データに対する我々のモデルのテスト誤差がトレーニングデータサイズの増加とともに消滅することを保証し、漸近的に最適であることを示す一般化誤差解析も提供する。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Federated Variational Inference: Towards Improved Personalization and Generalization [2.37589914835055]
我々は、ステートレスなクロスデバイス・フェデレーション学習環境におけるパーソナライズと一般化について研究する。まず階層的生成モデルを提案し,ベイズ推論を用いて定式化する。次に、変分推論を用いてこの過程を近似し、モデルを効率的に訓練する。我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。
論文参考訳（メタデータ） (2023-05-23T04:28:07Z)
Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-21T20:12:27Z)
Performative Federated Learning: A Solution to Model-Dependent and Heterogeneous Distribution Shifts [24.196279060605402]
複数のクライアントとサーバからなる連合学習(FL)システムについて検討する。クライアントのデータが静的であると仮定する従来のFLフレームワークとは異なり、クライアントのデータ分散がデプロイされた決定モデルによって再生成されるシナリオを考察する。
論文参考訳（メタデータ） (2023-05-08T23:29:24Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Federated Learning via Variational Bayesian Inference: Personalization, Sparsity and Clustering [6.829317124629158]
Federated Learning(FL)は、分散機械学習をモデル化する有望なフレームワークである。 FLは異種データや限られたデータからの性能劣化に悩まされる。 pFedBayesとcFedBayesというクラスタリングFLモデルを提案する。
論文参考訳（メタデータ） (2023-03-08T02:52:40Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。