論文の概要: Personalized Federated Learning with Server-Side Information
- arxiv url: http://arxiv.org/abs/2205.11044v1
- Date: Mon, 23 May 2022 05:12:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 12:28:10.783588
- Title: Personalized Federated Learning with Server-Side Information
- Title(参考訳): サーバ側情報を用いた個人化フェデレーション学習
- Authors: Jaehun Song, Min-hwan Oh, Hyung-Sin Kim
- Abstract要約: FedSIMは、サーバデータを積極的に活用し、パーソナライズ性能を向上させるために、サーバ内のメタグラディエントな計算を改善する、パーソナライズされた学習のための新しい手法である。
我々は、FedSIMが既存の手法よりも精度が優れており、サーバの完全なメタグラディエントを計算することで計算効率が良くなり、最大34.2%の速度で収束することを示す。
- 参考スコア(独自算出の注目度): 13.036236366258168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personalized Federated Learning (FL) is an emerging research field in FL that
learns an easily adaptable global model in the presence of data heterogeneity
among clients. However, one of the main challenges for personalized FL is the
heavy reliance on clients' computing resources to calculate higher-order
gradients since client data is segregated from the server to ensure privacy. To
resolve this, we focus on a problem setting where the server may possess its
own data independent of clients' data -- a prevalent problem setting in various
applications, yet relatively unexplored in existing literature. Specifically,
we propose FedSIM, a new method for personalized FL that actively utilizes such
server data to improve meta-gradient calculation in the server for increased
personalization performance. Experimentally, we demonstrate through various
benchmarks and ablations that FedSIM is superior to existing methods in terms
of accuracy, more computationally efficient by calculating the full
meta-gradients in the server, and converges up to 34.2% faster.
- Abstract(参考訳): パーソナライズ・フェデレーション・ラーニング(英: personalized federated learning, fl)は、flにおける新たな研究分野であり、クライアント間のデータの不均一性の存在下で、容易に適応可能なグローバルモデルを学ぶ。
しかし、パーソナライズされたFLの大きな課題の1つは、クライアントデータがサーバから分離されてプライバシが保証されるため、クライアントのコンピューティングリソースに依存して高階勾配を計算することである。
これを解決するため、我々は、サーバがクライアントのデータとは独立に独自のデータを持っているかもしれない問題設定にフォーカスします。
具体的には、このようなサーバデータを積極的に活用し、パーソナライズ性能を向上させるためにサーバのメタ勾配計算を改善する新しいパーソナライズfl手法であるfeedsimを提案する。
実験では,様々なベンチマークやアブレーションを通じて,fedsimが既存の手法よりも精度が優れており,サーバ全体のメタ勾配を計算することで計算効率が向上し,最大34.2%高速に収束することを示す。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Training Heterogeneous Client Models using Knowledge Distillation in
Serverless Federated Learning [0.5510212613486574]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。
効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
論文 参考訳(メタデータ) (2024-02-11T20:15:52Z) - FedGeo: Privacy-Preserving User Next Location Prediction with Federated
Learning [27.163370946895697]
ユーザ次位置予測(UNLP)タスクは、ユーザが与えられた軌道に移動する次の位置を予測するもので、幅広いアプリケーションにとって必須のタスクである。
単一サーバにおける大規模トラジェクトリデータセットを用いた従来の研究は、UNLPタスクにおいて顕著な性能を達成している。
現実世界のアプリケーションでは、プライバシーに関する法的および倫理的な問題が提起され、人間の軌道データセットを他のサーバーと共有することを禁じられている。
論文 参考訳(メタデータ) (2023-12-06T01:43:58Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning
Client Deployment Scheme [37.099990745974196]
フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。
私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。
遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
論文 参考訳(メタデータ) (2022-11-05T13:41:19Z) - Personalized Retrogress-Resilient Framework for Real-World Medical
Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。
実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文 参考訳(メタデータ) (2021-10-01T13:24:29Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Personalized Federated Learning via Maximizing Correlation with Sparse
and Hierarchical Extensions [14.862798952297105]
Federated Learning(FL)は、クライアントのプライベートデータを取得することなくグローバルモデルをトレーニングするための、協調的な機械学習技術である。
相関関係を最大化するpFedMacを用いた新しい個人化フェデレーション学習を提案する。
pFedMac は L2-norm 距離に基づくパーソナライズ手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-12T11:43:40Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。