論文の概要: Federated Multi-Task Learning under a Mixture of Distributions
- arxiv url: http://arxiv.org/abs/2108.10252v1
- Date: Mon, 23 Aug 2021 15:47:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-24 16:07:17.360085
- Title: Federated Multi-Task Learning under a Mixture of Distributions
- Title(参考訳): 混合分布下におけるフェデレーション型マルチタスク学習
- Authors: Othmane Marfoq, Giovanni Neglia, Aur\'elien Bellet, Laetitia Kameni,
Richard Vidal
- Abstract要約: Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
- 参考スコア(独自算出の注目度): 10.00087964926414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing size of data generated by smartphones and IoT devices
motivated the development of Federated Learning (FL), a framework for on-device
collaborative training of machine learning models. First efforts in FL focused
on learning a single global model with good average performance across clients,
but the global model may be arbitrarily bad for a given client, due to the
inherent heterogeneity of local data distributions. Federated multi-task
learning (MTL) approaches can learn personalized models by formulating an
opportune penalized optimization problem. The penalization term can capture
complex relations among personalized models, but eschews clear statistical
assumptions about local data distributions.
In this work, we propose to study federated MTL under the flexible assumption
that each local data distribution is a mixture of unknown underlying
distributions. This assumption encompasses most of the existing personalized FL
approaches and leads to federated EM-like algorithms for both client-server and
fully decentralized settings. Moreover, it provides a principled way to serve
personalized models to clients not seen at training time. The algorithms'
convergence is analyzed through a novel federated surrogate optimization
framework, which can be of general interest. Experimental results on FL
benchmarks show that in most cases our approach provides models with higher
accuracy and fairness than state-of-the-art methods.
- Abstract(参考訳): スマートフォンやiotデバイスが生成するデータのサイズの増加は、マシンラーニングモデルのオンデバイス共同トレーニングのためのフレームワークであるfederated learning(fl)の開発を促した。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、ローカルデータ分散の固有の不均一性のため、あるクライアントにとって任意に悪いかもしれない。
フェデレートされたマルチタスク学習(MTL)アプローチは、最適最適化問題を定式化することでパーソナライズされたモデルを学ぶことができる。
ペナリゼーション用語は、パーソナライズされたモデル間の複雑な関係を捉えることができるが、局所的なデータ分布に関する統計的仮定を明確にする。
本研究では,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討する。
この仮定は、既存のパーソナライズされたFLアプローチのほとんどを包含し、クライアントサーバと完全に分散された設定の両方に、EMのようなフェデレーションアルゴリズムをもたらす。
さらに、トレーニング時に見えない顧客にパーソナライズされたモデルを提供するための原則的な方法を提供する。
アルゴリズムの収束は、一般的な興味を持つ可能性のある新しいフェデレーションサロゲート最適化フレームワークによって分析される。
flベンチマークの実験結果は、たいていの場合、我々のアプローチは最先端の手法よりも高い精度と公平性を持つモデルを提供することを示している。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳(メタデータ) (2023-11-12T15:43:39Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T00:07:29Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - FedMR: Federated Learning via Model Recombination [12.641005501252467]
Federated Learning(FL)は、クライアント間でのグローバルモデルトレーニングを、生データを妥協することなく実現します。
我々はFedMR(Federated Model Recombination)という新しい効果的なFLパラダイムを提案する。
従来のFedAvgベースの方法とは異なり、FedMRのクラウドサーバは、収集されたローカルモデルの各レイヤをシャッフルし、それらを再結合して、クライアントでのローカルトレーニングのための新しいモデルを達成する。
論文 参考訳(メタデータ) (2023-05-18T05:58:24Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-05-04T12:21:34Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-11-17T19:40:07Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。