論文の概要: Federated Multi-Task Learning under a Mixture of Distributions

• arxiv url: http://arxiv.org/abs/2108.10252v1
• Date: Mon, 23 Aug 2021 15:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 16:07:17.360085
• Title: Federated Multi-Task Learning under a Mixture of Distributions
• Title（参考訳）: 混合分布下におけるフェデレーション型マルチタスク学習
• Authors: Othmane Marfoq, Giovanni Neglia, Aur\'elien Bellet, Laetitia Kameni, Richard Vidal
• Abstract要約: Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
• 参考スコア（独自算出の注目度）: 10.00087964926414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that in most cases our approach provides models with higher accuracy and fairness than state-of-the-art methods.
• Abstract（参考訳）: スマートフォンやiotデバイスが生成するデータのサイズの増加は、マシンラーニングモデルのオンデバイス共同トレーニングのためのフレームワークであるfederated learning(fl)の開発を促した。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、ローカルデータ分散の固有の不均一性のため、あるクライアントにとって任意に悪いかもしれない。 フェデレートされたマルチタスク学習(MTL)アプローチは、最適最適化問題を定式化することでパーソナライズされたモデルを学ぶことができる。 ペナリゼーション用語は、パーソナライズされたモデル間の複雑な関係を捉えることができるが、局所的なデータ分布に関する統計的仮定を明確にする。 本研究では,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討する。 この仮定は、既存のパーソナライズされたFLアプローチのほとんどを包含し、クライアントサーバと完全に分散された設定の両方に、EMのようなフェデレーションアルゴリズムをもたらす。 さらに、トレーニング時に見えない顧客にパーソナライズされたモデルを提供するための原則的な方法を提供する。 アルゴリズムの収束は、一般的な興味を持つ可能性のある新しいフェデレーションサロゲート最適化フレームワークによって分析される。 flベンチマークの実験結果は、たいていの場合、我々のアプローチは最先端の手法よりも高い精度と公平性を持つモデルを提供することを示している。

関連論文リスト

• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。