論文の概要: Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2310.18285v4
• Date: Sun, 25 Feb 2024 02:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 11:48:20.702616
• Title: Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning
• Title（参考訳）: 汎用・個人化フェデレーション学習におけるプロンプトチューニングの可能性
• Authors: Wenlong Deng, Christos Thrampoulidis, Xiaoxiao Li
• Abstract要約: Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
• 参考スコア（独自算出の注目度）: 49.72857433721424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViT) and Visual Prompt Tuning (VPT) achieve state-of-the-art performance with improved efficiency in various computer vision tasks. This suggests a promising paradigm shift of adapting pre-trained ViT models to Federated Learning (FL) settings. However, the challenge of data heterogeneity among FL clients presents a significant hurdle in effectively deploying ViT models. Existing Generalized FL (GFL) and Personalized FL (PFL) methods have limitations in balancing performance across both global and local data distributions. In this paper, we present a novel algorithm, SGPT, that integrates GFL and PFL approaches by employing a unique combination of both shared and group-specific prompts. This design enables SGPT to capture both common and group-specific features. A key feature of SGPT is its prompt selection module, which facilitates the training of a single global model capable of automatically adapting to diverse local client data distributions without the need for local fine-tuning. To effectively train the prompts, we utilize block coordinate descent (BCD), learning from common feature information (shared prompts), and then more specialized knowledge (group prompts) iteratively. Theoretically, we justify that learning the proposed prompts can reduce the gap between global and local performance. Empirically, we conduct experiments on both label and feature heterogeneity settings in comparison with state-of-the-art baselines, along with extensive ablation studies, to substantiate the superior performance of SGPT.
• Abstract（参考訳）: Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 これは、事前訓練されたvitモデルを連合学習(fl)設定に適応する、有望なパラダイムシフトを示唆する。 しかし、FLクライアント間のデータ不均一性の課題は、ViTモデルを効果的にデプロイする上で大きなハードルとなる。 既存の一般化fl(gfl)とパーソナライズfl(pfl)メソッドは、グローバルとローカルの両方のデータ分散のパフォーマンスのバランスに制限がある。 本稿では,共有プロンプトとグループ固有のプロンプトを一意に組み合わせることで,GFLとPFLのアプローチを統合する新しいアルゴリズムであるSGPTを提案する。 この設計により、SGPTは共通の特徴とグループ固有の特徴の両方をキャプチャできる。 SGPTの重要な特徴は、ローカルな微調整を必要とせずに、様々なローカルなクライアントデータ分布に自動的に適応できる単一のグローバルモデルのトレーニングを容易にするプロンプトセレクションモジュールである。 提案手法を効果的に訓練するために,ブロック座標降下(BCD)を用い,共通特徴情報(共有プロンプト)から学習し,さらに専門知識(グループプロンプト)を反復的に学習する。 理論的には、提案するプロンプトを学習することで、グローバルパフォーマンスとローカルパフォーマンスのギャップを低減できる。 実験では,sgptの優れた性能を実証するために,最先端のベースラインと比較し,ラベルと特徴の異質性について実験を行った。

関連論文リスト

• Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models [7.810284483002312]
  我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。 pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。 その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
  論文  参考訳（メタデータ） (2024-10-14T03:05:12Z)
• Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
  従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。 我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。 実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
  論文  参考訳（メタデータ） (2024-07-23T02:52:52Z)
• FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
  不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。 我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
  論文  参考訳（メタデータ） (2024-01-06T14:43:47Z)
• Inclusive Data Representation in Federated Learning: A Novel Approach Integrating Textual and Visual Prompt [12.869146009608816]
  我々は、視覚とテキストの両モードを統合する先駆的なソリューションであるTwin Prompt Federated Learning (TPFL)を紹介する。 データの不均一性問題に対処するために、クライアントモデルのグローバルな知識獲得を促進するだけでなく、堅牢でコンパクトなモデルの開発を促進するAugmented TPFL(ATPFL)を導入する。 TPFLとATPFLの有効性は広範囲な評価によって実証され,全てのベースラインと比較して常に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-04T11:20:28Z)
• Personalized Federated Learning with Local Attention [5.018560254008613]
  Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。 FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。 textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。 pFedLAでは2つのモジュールが提案されている。
  論文  参考訳（メタデータ） (2023-04-02T20:10:32Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。