論文の概要: An Empirical Study of Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2206.13190v1
• Date: Mon, 27 Jun 2022 11:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 21:56:53.388613
• Title: An Empirical Study of Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習の実証的研究
• Authors: Koji Matsuda, Yuya Sasaki, Chuan Xiao, Makoto Onizuka
• Abstract要約: フェデレートラーニング(Federated Learning)とは、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、共同で機械学習モデルを構築する分散機械学習アプローチである。 この問題に対処するため、多数のフェデレーション学習手法は、パーソナライズされたフェデレーション学習を目標とし、クライアント向けに最適化されたモデルを構築する。 個人化されたフェデレート学習手法が最高のパフォーマンスを達成するのか、これらの手法が標準的(非個人化された)フェデレート学習ではなく、どの程度の進歩を達成できるかは明らかでない。
• 参考スコア（独自算出の注目度）: 8.641606056228675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is a distributed machine learning approach in which a single server and multiple clients collaboratively build machine learning models without sharing datasets on clients. A challenging issue of federated learning is data heterogeneity (i.e., data distributions may differ across clients). To cope with this issue, numerous federated learning methods aim at personalized federated learning and build optimized models for clients. Whereas existing studies empirically evaluated their own methods, the experimental settings (e.g., comparison methods, datasets, and client setting) in these studies differ from each other, and it is unclear which personalized federate learning method achieves the best performance and how much progress can be made by using these methods instead of standard (i.e., non-personalized) federated learning. In this paper, we benchmark the performance of existing personalized federated learning through comprehensive experiments to evaluate the characteristics of each method. Our experimental study shows that (1) there are no champion methods, (2) large data heterogeneity often leads to high accurate predictions, and (3) standard federated learning methods (e.g. FedAvg) with fine-tuning often outperform personalized federated learning methods. We open our benchmark tool FedBench for researchers to conduct experimental studies with various experimental settings.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、共同で機械学習モデルを構築する分散機械学習アプローチである。 フェデレーション学習の課題は、データ不均一性(すなわち、クライアント間でデータ分散が異なる場合がある)である。 この問題に対処するため、多数のフェデレーション学習手法は、パーソナライズされたフェデレーション学習を目標とし、クライアント向けに最適化されたモデルを構築する。 既存の研究が独自の手法を実証的に評価しているのに対して、これらの研究における実験的な設定(例:比較方法、データセット、クライアント設定)は互いに異なり、どの個人化されたフェデレート学習方法が最高の性能を達成するのか、そして、標準(すなわち非個人化)フェデレーション学習の代わりにこれらの方法を用いることで、どの程度進歩できるのかは明らかではない。 本稿では,各手法の特性を評価するための総合的な実験を通じて,既存の個人化フェデレーション学習の性能をベンチマークする。 実験の結果,(1)チャンピオン法は存在せず,(2)大規模データの不均一性は高い精度の予測につながることが多く,(3)ファインチューニングによる標準フェデレーション学習法(FedAvgなど)は,パーソナライズされたフェデレーション学習法よりも優れていることがわかった。 ベンチマークツールであるFedBenchを公開し、様々な実験環境を用いて実験実験を行う。

関連論文リスト

• Blind Federated Learning without initial model [1.104960878651584]
  フェデレートラーニング(Federated Learning)は、独自のプライベートデータを持つ複数の参加者間のモデル構築を可能にする、新たな機械学習アプローチである。 この方法はセキュアでプライバシ保護であり、病院などの異なるソースからの機密データを使用して機械学習モデルをトレーニングするのに適している。
  論文  参考訳（メタデータ） (2024-04-24T20:10:10Z)
• Factor-Assisted Federated Learning for Personalized Optimization with Heterogeneous Data [6.024145412139383]
  フェデレートラーニング(Federated Learning)は、データプライバシ保護を目的とした、新興の分散機械学習フレームワークである。 異なるクライアントのデータには、共通の知識とパーソナライズされた知識の両方が含まれている。 我々は、FedSplitと呼ばれる異種データのための、新しい個人化されたフェデレーション学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-07T13:05:47Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Motley: Benchmarking Heterogeneity and Personalization in Federated Learning [20.66924459164993]
  Motleyは、パーソナライズされたフェデレーション学習のためのベンチマークである。 さまざまな問題領域のクロスデバイスとクロスサイロのフェデレーションデータセットからなる。 我々は、いくつかの代表的個人化フェデレーション学習手法を比較して、ベンチマークのベースラインを確立する。
  論文  参考訳（メタデータ） (2022-06-18T18:18:49Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• WAFFLE: Weighted Averaging for Personalized Federated Learning [38.241216472571786]
  WAFFLEは、SCAFFOLDに基づくパーソナライズされた協調機械学習アルゴリズムである。 WAFFLEは、クライアントのアップデート間のユークリッド距離を使用して、個々のコントリビューションを計測する。 本実験では, WAFFLE の有効性を他の方法と比較した。
  論文  参考訳（メタデータ） (2021-10-13T18:40:54Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。