論文の概要: Optimizing Personalized Federated Learning through Adaptive Layer-Wise Learning
- arxiv url: http://arxiv.org/abs/2412.07062v2
- Date: Thu, 19 Dec 2024 06:05:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 20:07:44.012568
- Title: Optimizing Personalized Federated Learning through Adaptive Layer-Wise Learning
- Title（参考訳）: 適応型レイヤーワイズ学習による個人化フェデレーション学習の最適化
- Authors: Weihang Chen, Jie Ren, Zhiqiang Li, Ling Gao, Zheng Wang,
- Abstract要約: ローカルモデルは、トレーニングプロセス中にデータを過剰にパーソナライズする傾向があり、以前取得したグローバルな情報を減少させる可能性がある。
我々は,局所モデルパーソナライズ性能を最適化する,pFLのための新しいレイヤワイズ学習手法であるFLAYERを提案する。
6つの最先端のpFL法と比較して、FLAYERは平均して推論精度を7.21%改善する(最大14.29%)。
- 参考スコア（独自算出の注目度）: 12.367478511088645
- License:
- Abstract: Real-life deployment of federated Learning (FL) often faces non-IID data, which leads to poor accuracy and slow convergence. Personalized FL (pFL) tackles these issues by tailoring local models to individual data sources and using weighted aggregation methods for client-specific learning. However, existing pFL methods often fail to provide each local model with global knowledge on demand while maintaining low computational overhead. Additionally, local models tend to over-personalize their data during the training process, potentially dropping previously acquired global information. We propose FLAYER, a novel layer-wise learning method for pFL that optimizes local model personalization performance. FLAYER considers the different roles and learning abilities of neural network layers of individual local models. It incorporates global information for each local model as needed to initialize the local model cost-effectively. It then dynamically adjusts learning rates for each layer during local training, optimizing the personalized learning process for each local model while preserving global knowledge. Additionally, to enhance global representation in pFL, FLAYER selectively uploads parameters for global aggregation in a layer-wise manner. We evaluate FLAYER on four representative datasets in computer vision and natural language processing domains. Compared to six state-of-the-art pFL methods, FLAYER improves the inference accuracy, on average, by 7.21\% (up to 14.29\%).
- Abstract（参考訳）: FL(Federated Learning)の現実的な展開は、非IIDデータに直面することが多く、精度が低下し、収束が遅くなる。
パーソナライズされたFL(pFL)は、ローカルモデルを個々のデータソースに調整し、クライアント固有の学習に重み付け集約手法を使用することによって、これらの問題に対処する。
しかし、既存のpFL法は、計算オーバーヘッドを低く保ちながら、需要に関するグローバルな知識を各ローカルモデルに提供するのに失敗することが多い。
さらに、ローカルモデルはトレーニングプロセス中にデータを過剰にパーソナライズする傾向があり、以前取得したグローバルな情報が失われる可能性がある。
我々は,局所モデルパーソナライズ性能を最適化する,pFLのための新しいレイヤワイズ学習手法であるFLAYERを提案する。
FLAYERは、個々のローカルモデルのニューラルネットワーク層の異なる役割と学習能力について考察している。
ローカルモデルをコスト効率よく初期化するために必要なように、各ローカルモデルにグローバル情報を組み込む。
そして、ローカルトレーニング中に各レイヤの学習率を動的に調整し、グローバルな知識を維持しながら各ローカルモデルごとにパーソナライズされた学習プロセスを最適化する。
さらに、pFLにおけるグローバル表現を強化するために、FLAYERは、グローバルアグリゲーションのパラメータを階層的に選択的にアップロードする。
コンピュータビジョンと自然言語処理領域における4つの代表的なデータセットに対してFLAYERを評価する。
6つの最先端のpFL法と比較して、FLAYERは平均して7.21 %(最大14.29 %)の推論精度を向上させる。
関連論文リスト
- GAI-Enabled Explainable Personalized Federated Semi-Supervised Learning [29.931169585178818]
フェデレーテッド・ラーニング(Federated Learning, FL)は、人工知能(AI)モデルをトレーニングするモバイルユーザー(MU)のための一般的な分散アルゴリズムである。
我々は,XPFLと呼ばれるパーソナライズ可能なFLフレームワークを提案する。特にローカルトレーニングでは,生成型AI(GAI)モデルを用いて,大規模なラベルなしデータから学習する。
グローバルアグリゲーションにおいて、局所的および大域的FLモデルを特定の割合で融合することにより、新しい局所的モデルを得る。
最後に,提案したXPFLフレームワークの有効性をシミュレーションにより検証した。
論文 参考訳（メタデータ） (2024-10-11T08:58:05Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2024-05-10T11:52:53Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - The Best of Both Worlds: Accurate Global and Personalized Models through
Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。
他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。
さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文 参考訳（メタデータ） (2023-01-21T16:20:57Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-19T12:45:19Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。