論文の概要: Visual Prompt Based Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2303.08678v1
- Date: Wed, 15 Mar 2023 15:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 13:23:04.584962
- Title: Visual Prompt Based Personalized Federated Learning
- Title(参考訳): ビジュアルプロンプトに基づく個人化フェデレーション学習
- Authors: Guanghao Li, Wansen Wu, Yan Sun, Li Shen, Baoyuan Wu, Dacheng Tao
- Abstract要約: pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
- 参考スコア(独自算出の注目度): 83.04104655903846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a popular paradigm of distributed learning, personalized federated
learning (PFL) allows personalized models to improve generalization ability and
robustness by utilizing knowledge from all distributed clients. Most existing
PFL algorithms tackle personalization in a model-centric way, such as
personalized layer partition, model regularization, and model interpolation,
which all fail to take into account the data characteristics of distributed
clients. In this paper, we propose a novel PFL framework for image
classification tasks, dubbed pFedPT, that leverages personalized visual prompts
to implicitly represent local data distribution information of clients and
provides that information to the aggregation model to help with classification
tasks. Specifically, in each round of pFedPT training, each client generates a
local personalized prompt related to local data distribution. Then, the local
model is trained on the input composed of raw data and a visual prompt to learn
the distribution information contained in the prompt. During model testing, the
aggregated model obtains prior knowledge of the data distributions based on the
prompts, which can be seen as an adaptive fine-tuning of the aggregation model
to improve model performances on different clients. Furthermore, the visual
prompt can be added as an orthogonal method to implement personalization on the
client for existing FL methods to boost their performance. Experiments on the
CIFAR10 and CIFAR100 datasets show that pFedPT outperforms several
state-of-the-art (SOTA) PFL algorithms by a large margin in various settings.
- Abstract(参考訳): 分散学習の一般的なパラダイムとして、パーソナライズド・フェデレーション・ラーニング(PFL)では、パーソナライズされたモデルが、すべての分散クライアントからの知識を利用することで、一般化能力と堅牢性を向上させることができる。
既存のpflアルゴリズムの多くは、パーソナライズされたレイヤ分割、モデル正規化、モデルの補間など、モデル中心の方法でパーソナライズに取り組む。
本稿では、画像分類タスクのための新しいpflフレームワークpfedptを提案する。これは、パーソナライズされた視覚的プロンプトを利用して、クライアントのローカルデータ分布情報を暗黙的に表現し、その情報をアグリゲーションモデルに提供し、分類タスクを支援する。
具体的には、pfedptトレーニングの各ラウンドにおいて、各クライアントはローカルデータ分散に関連するローカルパーソナライズされたプロンプトを生成する。
そして、生データと視覚的プロンプトからなる入力に基づいて局所モデルを訓練し、そのプロンプトに含まれる分布情報を学習する。
モデルテスト中、集約されたモデルは、プロンプトに基づいてデータ分布の事前知識を取得し、アグリゲーションモデルの適応的な微調整として、異なるクライアントでのモデル性能を改善することができる。
さらに、視覚プロンプトは、既存のflメソッドのクライアントにパーソナライズを実装し、パフォーマンスを向上させるための直交メソッドとして追加することができる。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
関連論文リスト
- Efficient Model Personalization in Federated Learning via
Client-Specific Prompt Generation [38.42808389088285]
フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。
クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。
pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
論文 参考訳(メタデータ) (2023-08-29T15:03:05Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳(メタデータ) (2023-05-04T12:21:34Z) - Federated Learning of Shareable Bases for Personalization-Friendly Image
Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。
具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。
また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文 参考訳(メタデータ) (2023-04-16T20:19:18Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳(メタデータ) (2023-03-27T13:00:20Z) - Group Personalized Federated Learning [15.09115201646396]
フェデレートラーニング(FL)は、クライアントの物理デバイス上で分散的な方法で共有モデルをトレーニングすることで、データのプライバシを促進するのに役立つ。
本稿では,FLの応用に向けたグループパーソナライズ手法を提案する。
論文 参考訳(メタデータ) (2022-10-04T19:20:19Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳(メタデータ) (2022-08-12T09:51:20Z) - Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。
提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
論文 参考訳(メタデータ) (2021-11-04T13:41:45Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。