Fugu-MT 論文翻訳(概要): Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation

論文の概要: Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation

arxiv url: http://arxiv.org/abs/2308.15367v1
Date: Tue, 29 Aug 2023 15:03:05 GMT
ステータス: 処理完了
システム内更新日: 2023-08-30 13:36:12.885996
Title: Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation
Title（参考訳）: クライアント特化プロンプト生成によるフェデレーション学習における効率的なモデルパーソナライゼーション
Authors: Fu-En Yang, Chien-Yi Wang, Yu-Chiang Frank Wang
Abstract要約: フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。 pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
参考スコア（独自算出の注目度）: 38.42808389088285
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) emerges as a decentralized learning framework which trains models from multiple distributed clients without sharing their data to preserve privacy. Recently, large-scale pre-trained models (e.g., Vision Transformer) have shown a strong capability of deriving robust representations. However, the data heterogeneity among clients, the limited computation resources, and the communication bandwidth restrict the deployment of large-scale models in FL frameworks. To leverage robust representations from large-scale models while enabling efficient model personalization for heterogeneous clients, we propose a novel personalized FL framework of client-specific Prompt Generation (pFedPG), which learns to deploy a personalized prompt generator at the server for producing client-specific visual prompts that efficiently adapts frozen backbones to local data distributions. Our proposed framework jointly optimizes the stages of personalized prompt adaptation locally and personalized prompt generation globally. The former aims to train visual prompts that adapt foundation models to each client, while the latter observes local optimization directions to generate personalized prompts for all clients. Through extensive experiments on benchmark datasets, we show that our pFedPG is favorable against state-of-the-art personalized FL methods under various types of data heterogeneity, allowing computation and communication efficient model personalization.
Abstract（参考訳）: フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。近年、大規模な事前学習モデル(ビジョントランスフォーマーなど)は、堅牢な表現を導出する強力な能力を示している。しかし、クライアント間のデータ不均一性、限られた計算資源、通信帯域幅は、FLフレームワークにおける大規模モデルの展開を制限する。大規模モデルからのロバストな表現を活用しながら、異種クライアントの効率的なモデルパーソナライズを実現するために、サーバにパーソナライズされたプロンプトジェネレータを配置し、凍結したバックボーンをローカルデータ分布に効率よく適応させる、新しいパーソナライズされたクライアント固有プロンプトジェネレータ(pFedPG)を提案する。提案フレームワークは,グローバルなパーソナライズされたプロンプト適応とパーソナライズされたプロンプト生成の段階を共同で最適化する。前者は、各クライアントに基礎モデルを適用する視覚的プロンプトをトレーニングすることを目的としており、後者は、各クライアントに対してパーソナライズされたプロンプトを生成するために、局所最適化方向を観察する。ベンチマークデータセットの広範な実験を通して、我々のpFedPGは、様々な種類のデータの不均一性の下で、最先端のパーソナライズされたFL手法に対して好適であり、計算と通信の効率の良いモデルパーソナライゼーションを可能にすることを示す。

関連論文リスト

Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
FedSheafHN: Personalized Federated Learning on Graph-structured Data [22.825083541211168]
我々はFedSheafHNと呼ばれるモデルを提案し、各クライアントのローカルサブグラフをサーバ構築コラボレーショングラフに埋め込む。我々のモデルは複雑なクライアント特性の統合と解釈を改善します。また、高速なモデル収束と効果的な新しいクライアントの一般化も備えている。
論文参考訳（メタデータ） (2024-05-25T04:51:41Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文参考訳（メタデータ） (2022-08-12T09:51:20Z)
Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。