論文の概要: PersA-FL: Personalized Asynchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2210.01176v2
• Date: Wed, 4 Oct 2023 14:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 18:48:44.581612
• Title: PersA-FL: Personalized Asynchronous Federated Learning
• Title（参考訳）: PersA-FL:パーソナライズされた非同期フェデレーション学習
• Authors: Mohammad Taha Toghani, Soomin Lee and C\'esar A. Uribe
• Abstract要約: 非同期更新下での個人化学習問題について検討する。 この問題では、各クライアントは、ローカルモデルとグローバルモデルとを同時に上回るパーソナライズされたモデルを求めます。 パーソナライズのための最適化ベースのフレームワークを2つ検討する。
• 参考スコア（独自算出の注目度）: 1.1838866556981258
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We study the personalized federated learning problem under asynchronous updates. In this problem, each client seeks to obtain a personalized model that simultaneously outperforms local and global models. We consider two optimization-based frameworks for personalization: (i) Model-Agnostic Meta-Learning (MAML) and (ii) Moreau Envelope (ME). MAML involves learning a joint model adapted for each client through fine-tuning, whereas ME requires a bi-level optimization problem with implicit gradients to enforce personalization via regularized losses. We focus on improving the scalability of personalized federated learning by removing the synchronous communication assumption. Moreover, we extend the studied function class by removing boundedness assumptions on the gradient norm. Our main technical contribution is a unified proof for asynchronous federated learning with bounded staleness that we apply to MAML and ME personalization frameworks. For the smooth and non-convex functions class, we show the convergence of our method to a first-order stationary point. We illustrate the performance of our method and its tolerance to staleness through experiments for classification tasks over heterogeneous datasets.
• Abstract（参考訳）: 我々は,パーソナライズされた連合学習問題を非同期更新で検討する。 この問題において、各クライアントは、ローカルモデルとグローバルモデルを同時に上回るパーソナライズされたモデルを求める。 パーソナライズのための最適化ベースのフレームワークを2つ検討する。 一 モデル非依存メタラーニング(MAML)及び (II)モレウ・エンベロープ(ME) MAMLは細調整によって各クライアントに適合するジョイントモデルを学習するが、MEは正規化された損失を通じてパーソナライズを強制するために暗黙の勾配を持つ二段階最適化問題を必要とする。 同期コミュニケーションの前提を取り除き,パーソナライズされた連合学習のスケーラビリティ向上に重点を置く。 さらに, 勾配ノルム上の有界性仮定を除去し, 解析関数クラスを拡張する。 我々は,MAML と ME のパーソナライズフレームワークに適用した,有界な安定度を持つ非同期フェデレーション学習の統一的証明を主目的とする。 滑らかかつ非凸な関数クラスに対して、本手法の1次定常点への収束を示す。 異種データセット上の分類課題に対する実験を通して,本手法の性能と安定性について述べる。

関連論文リスト

• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
  フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。 フェデレーション学習の課題の1つは、クライアント間の非制約データである。
  論文  参考訳（メタデータ） (2023-06-29T05:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning [6.0088002781256185]
  従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。 非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。 我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
  論文  参考訳（メタデータ） (2021-10-15T22:23:14Z)
• QuPeL: Quantized Personalization with Applications to Federated Learning [8.420943739336067]
  本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。 パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。 数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-23T16:43:51Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)
• Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
  フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。 FLに関連する課題の1つは、クライアント間の統計的多様性である。 封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T00:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。