Fugu-MT 論文翻訳(概要): Harmonizing Generalization and Personalization in Federated Prompt Learning

論文の概要: Harmonizing Generalization and Personalization in Federated Prompt Learning

arxiv url: http://arxiv.org/abs/2405.09771v1
Date: Thu, 16 May 2024 02:22:09 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 15:30:35.802889
Title: Harmonizing Generalization and Personalization in Federated Prompt Learning
Title（参考訳）: フェデレート・プロンプト学習における一般化とパーソナライゼーションの調和
Authors: Tianyu Cui, Hongxia Li, Jingya Wang, Ye Shi,
Abstract要約: フェデレート・プロンプト・ラーニング(FPL)は、大規模な事前学習型ビジョン・ランゲージ・モデル(VLM)を即時チューニングによるフェデレーション・ラーニングに組み込む。私たちは、CLIP一般化と低ランクパーソナライゼーション(FedPGP)によるフェデレーション・プロンプト学習を提案する。 FedPGPは、事前訓練されたCLIPを使用して、グローバルプロンプトの知識ガイダンスを提供し、グローバルプロンプトをパーソナライズするローランク適応用語を取り入れている。
参考スコア（独自算出の注目度）: 12.22733399615304
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Prompt Learning (FPL) incorporates large pre-trained Vision-Language models (VLM) into federated learning through prompt tuning. The transferable representations and remarkable generalization capacity of VLM make them highly compatible with the integration of federated learning. Addressing data heterogeneity in federated learning requires personalization, but excessive focus on it across clients could compromise the model's ability to generalize effectively. To preserve the impressive generalization capability of VLM, it is crucial to strike a balance between personalization and generalization in FPL. To tackle this challenge, we proposed Federated Prompt Learning with CLIP Generalization and low-rank Personalization (FedPGP), which employs pre-trained CLIP to provide knowledge-guidance on the global prompt for improved generalization and incorporates a low-rank adaptation term to personalize the global prompt. Further, FedPGP integrates a prompt-wise contrastive loss to achieve knowledge guidance and personalized adaptation simultaneously, enabling a harmonious balance between personalization and generalization in FPL. We conduct extensive experiments on various datasets to explore base-to-novel generalization in both category-level and domain-level scenarios with heterogeneous data, showing the superiority of FedPGP in balancing generalization and personalization.
Abstract（参考訳）: フェデレート・プロンプト・ラーニング(FPL)は、大規模な事前学習型ビジョン・ランゲージ・モデル(VLM)を即時チューニングによるフェデレーション・ラーニングに組み込む。 VLMの伝達可能な表現と顕著な一般化能力は、連合学習の統合と高い互換性を持つ。フェデレーション学習におけるデータの不均一性に対処するにはパーソナライズが必要であるが、クライアント全体への過剰なフォーカスは、モデルを効果的に一般化する能力を損なう可能性がある。 VLMの印象的な一般化能力を維持するためには、FPLのパーソナライゼーションと一般化のバランスをとることが不可欠である。この課題に対処するため、我々は、CLIPの事前学習を取り入れたFedPGP(Federated Prompt Learning with CLIP Generalization and Low-rank Personalization)を提案する。さらに、FedPGPは、知識指導とパーソナライズされた適応を同時に達成し、FPLにおけるパーソナライゼーションと一般化の調和したバランスを可能にする。本研究は,FedPGPが一般化とパーソナライゼーションのバランスをとる上で優れていることを示すため,異種データを用いたカテゴリレベルのシナリオとドメインレベルのシナリオの両方において,ベース・ツー・ノーベルな一般化を探索する広範囲な実験を行う。

関連論文リスト

Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
論文参考訳（メタデータ） (2024-07-15T15:20:13Z)
Personalized Federated Continual Learning via Multi-granularity Prompt [33.84680453375976]
一般化表現をパーソナライズするために,多粒性プロンプト,すなわち粗粒大大域的プロンプトと細粒局所プロンプトという新しい概念を提案する。粗粒度知識の排他的融合により、クライアント間の共通知識の伝達と洗練を実現し、パーソナライズの性能をさらに向上する。
論文参考訳（メタデータ） (2024-06-27T13:41:37Z)
FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
論文参考訳（メタデータ） (2024-01-17T05:04:33Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。不均一な問題に対しては、無関係な公開データを通信に活用する。局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
論文参考訳（メタデータ） (2023-09-28T09:32:27Z)
Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文参考訳（メタデータ） (2023-07-05T11:58:58Z)
Federated Learning under Covariate Shifts with Generalization Guarantees [46.56040078380132]
我々は、新しいグローバルモデルトレーニングパラダイムを策定し、フェデレート重要度重み付き経験的リスク最小化(FTW-ERM)を提案する。 FTW-ERMは、特定の設定下での古典的EMMよりも、より小さな一般化誤差を達成できることを示す。
論文参考訳（メタデータ） (2023-06-08T16:18:08Z)
Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文参考訳（メタデータ） (2023-02-08T17:58:11Z)
Exploiting Personalized Invariance for Better Out-of-distribution Generalization in Federated Learning [13.246981646250518]
本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
論文参考訳（メタデータ） (2022-11-21T08:17:03Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。