論文の概要: PersA-FL: Personalized Asynchronous Federated Learning
- arxiv url: http://arxiv.org/abs/2210.01176v1
- Date: Mon, 3 Oct 2022 18:44:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 13:14:58.633466
- Title: PersA-FL: Personalized Asynchronous Federated Learning
- Title(参考訳): PersA-FL:パーソナライズされた非同期フェデレーション学習
- Authors: Mohammad Taha Toghani and C\'esar A. Uribe
- Abstract要約: 非同期更新下での個人化学習問題について検討する。
この問題では、各クライアントは、ローカルモデルとグローバルモデルとを同時に上回るパーソナライズされたモデルを求めます。
パーソナライズのための最適化ベースのフレームワークを2つ検討する。
- 参考スコア(独自算出の注目度): 0.6526824510982799
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We study the personalized federated learning problem under asynchronous
updates. In this problem, each client seeks to obtain a personalized model that
simultaneously outperforms local and global models. We consider two
optimization-based frameworks for personalization: (i) Model-Agnostic
Meta-Learning (MAML) and (ii) Moreau Envelope (ME). MAML involves learning a
joint model adapted for each client through fine-tuning, whereas ME requires a
bi-level optimization problem with implicit gradients to enforce
personalization via regularized losses. We focus on improving the scalability
of personalized federated learning by removing the synchronous communication
assumption. Moreover, we extend the studied function class by removing
boundedness assumptions on the gradient norm. Our main technical contribution
is a unified proof for asynchronous federated learning with bounded staleness
that we apply to MAML and ME personalization frameworks. For the smooth and
non-convex functions class, we show the convergence of our method to a
first-order stationary point. We illustrate the performance of our method and
its tolerance to staleness through experiments for classification tasks over
heterogeneous datasets.
- Abstract(参考訳): 我々は,パーソナライズされた連合学習問題を非同期更新で検討する。
この問題において、各クライアントは、ローカルモデルとグローバルモデルを同時に上回るパーソナライズされたモデルを求める。
パーソナライズのための最適化ベースのフレームワークを2つ検討する。
一 モデル非依存メタラーニング(MAML)及び
(II)モレウ・エンベロープ(ME)
MAMLは細調整によって各クライアントに適合するジョイントモデルを学習するが、MEは正規化された損失を通じてパーソナライズを強制するために暗黙の勾配を持つ二段階最適化問題を必要とする。
同期コミュニケーションの前提を取り除き,パーソナライズされた連合学習のスケーラビリティ向上に重点を置く。
さらに, 勾配ノルム上の有界性仮定を除去し, 解析関数クラスを拡張する。
我々は,MAML と ME のパーソナライズフレームワークに適用した,有界な安定度を持つ非同期フェデレーション学習の統一的証明を主目的とする。
滑らかかつ非凸な関数クラスに対して、本手法の1次定常点への収束を示す。
異種データセット上の分類課題に対する実験を通して,本手法の性能と安定性について述べる。
関連論文リスト
- Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。
フェデレーション学習の課題の1つは、クライアント間の非制約データである。
論文 参考訳(メタデータ) (2023-06-29T05:58:47Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - FedPop: A Bayesian Approach for Personalised Federated Learning [25.67466138369391]
パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。
我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。
既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
論文 参考訳(メタデータ) (2022-06-07T22:52:59Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Adapt to Adaptation: Learning Personalization for Cross-Silo Federated
Learning [6.0088002781256185]
従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。
非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。
我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
論文 参考訳(メタデータ) (2021-10-15T22:23:14Z) - QuPeL: Quantized Personalization with Applications to Federated Learning [8.420943739336067]
本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。
パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。
数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
論文 参考訳(メタデータ) (2021-02-23T16:43:51Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2020-06-27T09:35:03Z) - Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。
FLに関連する課題の1つは、クライアント間の統計的多様性である。
封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T00:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。