論文の概要: Take Your Pick: Enabling Effective Personalized Federated Learning
within Low-dimensional Feature Space
- arxiv url: http://arxiv.org/abs/2307.13995v1
- Date: Wed, 26 Jul 2023 07:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 13:17:59.306489
- Title: Take Your Pick: Enabling Effective Personalized Federated Learning
within Low-dimensional Feature Space
- Title（参考訳）: 低次元特徴空間における効果的な個人化フェデレーション学習の実現
- Authors: Guogang Zhu, Xuefeng Liu, Shaojie Tang, Jianwei Niu, Xinghao Wu,
Jiaxing Shen
- Abstract要約: 我々はFedPickという新しいPFLフレームワークを提案する。
FedPickは、各クライアントに対してタスク関連機能を適応的に選択することで、低次元の特徴空間におけるPFLを達成する。
- 参考スコア（独自算出の注目度）: 22.433424519577642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized federated learning (PFL) is a popular framework that allows
clients to have different models to address application scenarios where
clients' data are in different domains. The typical model of a client in PFL
features a global encoder trained by all clients to extract universal features
from the raw data and personalized layers (e.g., a classifier) trained using
the client's local data. Nonetheless, due to the differences between the data
distributions of different clients (aka, domain gaps), the universal features
produced by the global encoder largely encompass numerous components irrelevant
to a certain client's local task. Some recent PFL methods address the above
problem by personalizing specific parameters within the encoder. However, these
methods encounter substantial challenges attributed to the high dimensionality
and non-linearity of neural network parameter space. In contrast, the feature
space exhibits a lower dimensionality, providing greater intuitiveness and
interpretability as compared to the parameter space. To this end, we propose a
novel PFL framework named FedPick. FedPick achieves PFL in the low-dimensional
feature space by selecting task-relevant features adaptively for each client
from the features generated by the global encoder based on its local data
distribution. It presents a more accessible and interpretable implementation of
PFL compared to those methods working in the parameter space. Extensive
experimental results show that FedPick could effectively select task-relevant
features for each client and improve model performance in cross-domain FL.
- Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、クライアントのデータが異なるドメインにあるアプリケーションシナリオに対処するための異なるモデルを持つことができる人気のあるフレームワークである。
pflのクライアントの典型的なモデルは、全クライアントがトレーニングしたグローバルエンコーダを特徴とし、生データとクライアントのローカルデータを使用してトレーニングされたパーソナライズされたレイヤ(例えば、分類器)から普遍的な特徴を抽出する。
それでも、異なるクライアントのデータ分散(別名、ドメインギャップ)の違いにより、グローバルエンコーダが生成する普遍的な機能は、クライアントのローカルなタスクとは無関係に、多くのコンポーネントを含んでいる。
最近のPFL法では、エンコーダ内の特定のパラメータをパーソナライズすることで上記の問題に対処している。
しかし、これらの手法は、ニューラルネットワークパラメータ空間の高次元性と非線形性に起因する大きな課題に遭遇する。
対照的に、特徴空間はより低い次元を示し、パラメータ空間と比較してより直感性と解釈性を提供する。
そこで我々はFedPickという新しいPFLフレームワークを提案する。
FedPickは、そのローカルデータ分布に基づいてグローバルエンコーダが生成した特徴から、各クライアントのタスク関連機能を適応的に選択することで、低次元の特徴空間におけるPFLを実現する。
これはパラメータ空間で機能する手法と比較して、よりアクセシブルで解釈可能なPFLの実装を示す。
大規模な実験結果から、FedPickは各クライアントのタスク関連機能を効果的に選択し、クロスドメインFLにおけるモデル性能を向上させることができた。
関連論文リスト
- Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。
我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。
実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
論文 参考訳（メタデータ） (2024-07-23T02:52:52Z) - FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。
我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2024-04-03T05:36:21Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning [0.873811641236639]
本稿では,クライアントのサブネットワーク構造とパラメータを直接パーソナライズする新しいFLフレームワークであるFedSelectを提案する。
本手法はCIFAR-10において有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-23T02:22:04Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - Personalized Federated Learning with Multi-branch Architecture [0.0]
フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。
ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。
CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-11-15T06:30:57Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。