論文の概要: Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2105.00562v1
• Date: Sun, 2 May 2021 22:10:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 00:26:48.801307
• Title: Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
• Title（参考訳）: 構造的・非構造的プルーニングによるデータ不均一性下での個人化フェデレーション学習
• Authors: Saeed Vahidian and Mahdi Morafah and Bill Lin
• Abstract要約: クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
• 参考スコア（独自算出の注目度）: 3.291862617649511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The traditional approach in FL tries to learn a single global model collaboratively with the help of many clients under the orchestration of a central server. However, learning a single global model might not work well for all clients participating in the FL under data heterogeneity. Therefore, the personalization of the global model becomes crucial in handling the challenges that arise with statistical heterogeneity and the non-IID distribution of data. Unlike prior works, in this work we propose a new approach for obtaining a personalized model from a client-level objective. This further motivates all clients to participate in federation even under statistical heterogeneity in order to improve their performance, instead of merely being a source of data and model training for the central server. To realize this personalization, we leverage finding a small subnetwork for each client by applying hybrid pruning (combination of structured and unstructured pruning), and unstructured pruning. Through a range of experiments on different benchmarks, we observed that the clients with similar data (labels) share similar personal parameters. By finding a subnetwork for each client ...
• Abstract（参考訳）: flの伝統的なアプローチは、中央サーバのオーケストレーションの下で多くのクライアントの助けを借りて、単一のグローバルモデルを協調的に学習しようとするものである。 しかし、単一のグローバルモデルを学ぶことは、データの不均一性の下でflに参加するすべてのクライアントにとってうまくいかないかもしれない。 したがって,グローバルモデルのパーソナライズは,統計的不均一性やデータの非IID分布に伴う課題を扱う上で重要である。 従来の作業とは異なり、この作業では、クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 これにより、中央サーバのデータやモデルトレーニングのソースに留まらず、統計的に異質な状況下であっても、すべてのクライアントがフェデレーションに参加するモチベーションが向上する。 このパーソナライゼーションを実現するために,ハイブリッド・プルーニング(構造化および非構造化プルーニングの組み合わせ)と非構造化プルーニングを適用し,クライアント毎に小さなサブネットワークを見つける。 異なるベンチマークで様々な実験を行い、類似したデータ(ラベル)を持つクライアントが同様のパラメータを共有するのを観察した。 各クライアントのサブネットワークを見つけることで...

関連論文リスト

• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
  フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。 本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:37:02Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks [46.17495529441229]
  フェデレーション学習(Federated Learning)は、AI依存のIoTアプリケーションをデプロイするために使用できる分散機械学習手法である。 本稿では,協調学習とGANに基づく連合学習手法を提案する。 提案手法は,クライアントのモデルアーキテクチャとデータ分布が大きく異なる場合,既存手法の精度を平均42%向上させる。
  論文  参考訳（メタデータ） (2022-02-18T12:08:46Z)
• Subspace Learning for Personalized Federated Optimization [7.475183117508927]
  本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。 提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-16T00:03:23Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。