論文の概要: Visual Prompt Based Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2303.08678v1
• Date: Wed, 15 Mar 2023 15:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:23:04.584962
• Title: Visual Prompt Based Personalized Federated Learning
• Title（参考訳）: ビジュアルプロンプトに基づく個人化フェデレーション学習
• Authors: Guanghao Li, Wansen Wu, Yan Sun, Li Shen, Baoyuan Wu, Dacheng Tao
• Abstract要約: pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
• 参考スコア（独自算出の注目度）: 83.04104655903846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a popular paradigm of distributed learning, personalized federated learning (PFL) allows personalized models to improve generalization ability and robustness by utilizing knowledge from all distributed clients. Most existing PFL algorithms tackle personalization in a model-centric way, such as personalized layer partition, model regularization, and model interpolation, which all fail to take into account the data characteristics of distributed clients. In this paper, we propose a novel PFL framework for image classification tasks, dubbed pFedPT, that leverages personalized visual prompts to implicitly represent local data distribution information of clients and provides that information to the aggregation model to help with classification tasks. Specifically, in each round of pFedPT training, each client generates a local personalized prompt related to local data distribution. Then, the local model is trained on the input composed of raw data and a visual prompt to learn the distribution information contained in the prompt. During model testing, the aggregated model obtains prior knowledge of the data distributions based on the prompts, which can be seen as an adaptive fine-tuning of the aggregation model to improve model performances on different clients. Furthermore, the visual prompt can be added as an orthogonal method to implement personalization on the client for existing FL methods to boost their performance. Experiments on the CIFAR10 and CIFAR100 datasets show that pFedPT outperforms several state-of-the-art (SOTA) PFL algorithms by a large margin in various settings.
• Abstract（参考訳）: 分散学習の一般的なパラダイムとして、パーソナライズド・フェデレーション・ラーニング(PFL)では、パーソナライズされたモデルが、すべての分散クライアントからの知識を利用することで、一般化能力と堅牢性を向上させることができる。 既存のpflアルゴリズムの多くは、パーソナライズされたレイヤ分割、モデル正規化、モデルの補間など、モデル中心の方法でパーソナライズに取り組む。 本稿では、画像分類タスクのための新しいpflフレームワークpfedptを提案する。これは、パーソナライズされた視覚的プロンプトを利用して、クライアントのローカルデータ分布情報を暗黙的に表現し、その情報をアグリゲーションモデルに提供し、分類タスクを支援する。 具体的には、pfedptトレーニングの各ラウンドにおいて、各クライアントはローカルデータ分散に関連するローカルパーソナライズされたプロンプトを生成する。 そして、生データと視覚的プロンプトからなる入力に基づいて局所モデルを訓練し、そのプロンプトに含まれる分布情報を学習する。 モデルテスト中、集約されたモデルは、プロンプトに基づいてデータ分布の事前知識を取得し、アグリゲーションモデルの適応的な微調整として、異なるクライアントでのモデル性能を改善することができる。 さらに、視覚プロンプトは、既存のflメソッドのクライアントにパーソナライズを実装し、パフォーマンスを向上させるための直交メソッドとして追加することができる。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。

関連論文リスト

• Group Personalized Federated Learning [15.09115201646396]
  フェデレートラーニング(FL)は、クライアントの物理デバイス上で分散的な方法で共有モデルをトレーニングすることで、データのプライバシを促進するのに役立つ。 本稿では,FLの応用に向けたグループパーソナライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-10-04T19:20:19Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [77.62455975604037]
  フェデレートラーニング(FL)は、トレーニングデータをローカルに保ちながら、分散デバイスが共有モデルを共同でトレーニングすることを可能にする。 本稿では、複数のリニアヘッド(VIM)フレームワークを用いた効率的なVFLを提案し、各ヘッドがローカルクライアントに対応する。 VIMは最先端のフレームワークに比べてパフォーマンスが大幅に向上し、コンバージェンスも高速化されている。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
  異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。 提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
  論文  参考訳（メタデータ） (2021-11-04T13:41:45Z)
• New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning [5.500172106704342]
  フェデレートラーニング(FL)では、クライアントは中央アグリゲータを通じて単一のグローバルモデル(FedAvg)を学ぶ。 この設定では、クライアント間でのデータの非IID分布は、グローバルFLモデルが各クライアントのローカルデータに良いパフォーマンスを提供することを制限する。 パーソナライズされたFLは、各クライアントのパーソナライズされたモデルを見つけることで、この問題に対処することを目指している。
  論文  参考訳（メタデータ） (2021-07-28T05:30:17Z)
• Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
  Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。 この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。 本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。 第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
  論文  参考訳（メタデータ） (2021-05-31T17:54:29Z)
• Exploiting Shared Representations for Personalized Federated Learning [60.7486362471543]
  クライアント間で共有データ表現を学習するための新しいフェデレーション学習フレームワークとアルゴリズムを提案し、クライアントごとに独自のローカルヘッドを提供します。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。