Fugu-MT 論文翻訳(概要): FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning

論文の概要: FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning

arxiv url: http://arxiv.org/abs/2009.01974v4
Date: Sun, 10 Oct 2021 18:31:55 GMT
ステータス: 処理完了
システム内更新日: 2022-10-22 01:41:28.115485
Title: FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning
Title（参考訳）: fedbe: ベイズモデルのアンサンブルをフェデレーション学習に適用する
Authors: Hong-You Chen, Wei-Lun Chao
Abstract要約: フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 23.726336635748783
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated learning aims to collaboratively train a strong global model by accessing users' locally trained models but not their own data. A crucial step is therefore to aggregate local models into a global model, which has been shown challenging when users have non-i.i.d. data. In this paper, we propose a novel aggregation algorithm named FedBE, which takes a Bayesian inference perspective by sampling higher-quality global models and combining them via Bayesian model Ensemble, leading to much robust aggregation. We show that an effective model distribution can be constructed by simply fitting a Gaussian or Dirichlet distribution to the local models. Our empirical studies validate FedBE's superior performance, especially when users' data are not i.i.d. and when the neural networks go deeper. Moreover, FedBE is compatible with recent efforts in regularizing users' model training, making it an easily applicable module: you only need to replace the aggregation method but leave other parts of your federated learning algorithm intact. Our code is publicly available at https://github.com/hongyouc/FedBE.
Abstract（参考訳）: フェデレーション学習(federated learning)は、ユーザのローカルトレーニングモデルにアクセスすることによって、強力なグローバルモデルを協調的にトレーニングすることを目的としている。したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。本稿では,ハイクオリティなグローバルモデルをサンプリングし,それらをベイズモデルEnsembleを介して組み合わせることで,非常に堅牢な集約を実現する,FedBEという新しい集約アルゴリズムを提案する。実効モデル分布は、ガウス分布やディリクレ分布を局所モデルに単純に適合させることで構成できることを示す。我々の実証研究は、FedBEの優れたパフォーマンス、特にユーザーのデータがi.d.ではない場合、そしてニューラルネットワークが深くなった場合を検証します。さらに、FedBEは、ユーザのモデルのトレーニングを規則化するための最近の取り組みと互換性があり、容易に適用可能なモジュールである。私たちのコードはhttps://github.com/hongyouc/FedBE.comで公開されています。

関連論文リスト

CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models [8.85591781936764]
我々はCoDreamという新しいフレームワークを提案し、クライアントはランダムなデータを協調的に最適化する。私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。モデルパラメータを共有しないにもかかわらず、標準的なFLタスクでCoDreamを実証的に検証し、競争性能を実証する。
論文参考訳（メタデータ） (2024-02-25T03:07:32Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文参考訳（メタデータ） (2023-12-11T10:44:52Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文参考訳（メタデータ） (2023-07-20T00:07:29Z)
Fusion of Global and Local Knowledge for Personalized Federated Learning [75.20751492913892]
本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
論文参考訳（メタデータ） (2023-02-21T23:09:45Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2022-11-19T12:45:19Z)
Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文参考訳（メタデータ） (2022-10-05T09:17:27Z)
Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文参考訳（メタデータ） (2021-08-19T12:20:31Z)
Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning [5.882234707363695]
Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらすフェデアンサンブルは確立されたFL法で容易に利用することができる。
論文参考訳（メタデータ） (2021-07-21T14:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。