論文の概要: Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning

• arxiv url: http://arxiv.org/abs/2107.10663v1
• Date: Wed, 21 Jul 2021 14:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-24 01:01:40.707046
• Title: Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning
• Title（参考訳）: Fed-ensemble:フェデレーション学習におけるモデル構成による一般化の改善
• Authors: Naichen Shi, Fan Lai, Raed Al Kontar, Mosharaf Chowdhury
• Abstract要約: Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす フェデアンサンブルは確立されたFL法で容易に利用することができる。
• 参考スコア（独自算出の注目度）: 5.882234707363695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose Fed-ensemble: a simple approach that bringsmodel ensembling to federated learning (FL). Instead of aggregating localmodels to update a single global model, Fed-ensemble uses random permutations to update a group of K models and then obtains predictions through model averaging. Fed-ensemble can be readily utilized within established FL methods and does not impose a computational overhead as it only requires one of the K models to be sent to a client in each communication round. Theoretically, we show that predictions on newdata from all K models belong to the same predictive posterior distribution under a neural tangent kernel regime. This result in turn sheds light onthe generalization advantages of model averaging. We also illustrate thatFed-ensemble has an elegant Bayesian interpretation. Empirical results show that our model has superior performance over several FL algorithms,on a wide range of data sets, and excels in heterogeneous settings often encountered in FL applications.
• Abstract（参考訳）: 本稿では,federated learning(fl)にモデルセンスリングをもたらす単純な手法であるfederated-ensembleを提案する。 単一のグローバルモデルを更新するためにローカルモデルを集約する代わりに、feed-ensembleはランダムな置換を使ってkモデルのグループを更新し、モデル平均化によって予測を得る。 fed-ensembleは確立されたflメソッド内で容易に利用することができ、各通信ラウンド毎にクライアントに送信されるkモデルの1つだけを必要とするため、計算オーバーヘッドを課さない。 理論的には、全てのkモデルからのnewdataの予測は、神経接核系下で同じ予測後続分布に属する。 この結果、モデル平均化の一般化の利点に光を当てる。 また、Fed-ensembleはエレガントなベイズ解釈を持つ。 実験結果から,本モデルは複数のFLアルゴリズムよりも優れた性能を示し,様々なデータセットにおいて,FLアプリケーションでしばしば発生する不均一な設定において優れることがわかった。

関連論文リスト

• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Federated Variational Inference: Towards Improved Personalization and Generalization [2.37589914835055]
  我々は、ステートレスなクロスデバイス・フェデレーション学習環境におけるパーソナライズと一般化について研究する。 まず階層的生成モデルを提案し,ベイズ推論を用いて定式化する。 次に、変分推論を用いてこの過程を近似し、モデルを効率的に訓練する。 我々は,FEMNISTとCIFAR-100画像分類のモデルを評価し,FedVIが両タスクの最先端性に勝っていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T04:28:07Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Federated Submodel Optimization for Hot and Cold Data Features [41.99190452773989]
  我々は,クライアントの非d.d.データに疎結合な特徴があり,特定のクライアントのローカルデータは通常,モデルのごく一部に限られる,フェデレート学習の基礎となる実践的データ特性について検討する。 データ分散のため、古典的なフェデレーション平均化(FedAvg)アルゴリズムやその変種は大幅に遅くなる。 フェデレートされたサブモデル平均化(FedSubAvg)を提案し、各モデルパラメータのグローバル更新の期待値がクライアントのローカル更新の平均値に等しいことを保証する。
  論文  参考訳（メタデータ） (2021-09-16T03:54:54Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。