論文の概要: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2410.10114v2
- Date: Wed, 16 Oct 2024 12:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 03:04:18.074279
- Title: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
- Title（参考訳）: パーソナライズされたエキスパートの混合:ビジョンランゲージモデルのためのフェデレーション・プロンプト学習
- Authors: Jun Luo, Chen Chen, Shandong Wu,
- Abstract要約: 我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。
pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。
その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
- 参考スコア（独自算出の注目度）: 7.810284483002312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt learning for pre-trained Vision-Language Models (VLMs) like CLIP has demonstrated potent applicability across diverse downstream tasks. This lightweight approach has quickly gained traction from federated learning (FL) researchers who seek to efficiently adapt VLMs to heterogeneous scenarios. However, current federated prompt learning methods are habitually restricted to the traditional FL paradigm, where the participating clients are generally only allowed to download a single globally aggregated model from the server. While justifiable for training full-sized models under federated settings, in this work, we argue that this paradigm is ill-suited for lightweight prompts. By facilitating the clients to download multiple pre-aggregated prompts as fixed non-local experts, we propose Personalized Federated Mixture of Adaptive Prompts (pFedMoAP), a novel FL framework that personalizes the prompt learning process through the lens of Mixture of Experts (MoE). pFedMoAP implements a local attention-based gating network that learns to generate enhanced text features for better alignment with local image data on the client, benefiting from both local and downloaded non-local adaptive prompt experts. The non-local experts are sparsely selected from a server-maintained pool, fostering collaborative learning across clients. To evaluate the proposed algorithm, we conduct extensive experiments across 9 datasets under various heterogeneous federated settings. The results show that pFedMoAP consistently outperforms the state-of-the-art alternatives, underscoring its efficacy in personalizing prompt learning for CLIP within the federated learning paradigm.
- Abstract（参考訳）: CLIPのような事前訓練されたビジョンランゲージモデル(VLM)のプロンプト学習は、さまざまな下流タスクにまたがる強力な適用性を示している。
この軽量なアプローチは、VLMをヘテロジニアスなシナリオに効果的に適応しようとする連邦学習(FL)研究者から、急速に注目を集めている。
しかし、現在のフェデレートされたプロンプト学習手法は、通常、従来のFLパラダイムに制限されており、参加するクライアントは通常、サーバから単一のグローバル集約モデルしかダウンロードできない。
フェデレートされた設定下でのフルサイズのモデルのトレーニングには適していますが、この作業では、このパラダイムは軽量なプロンプトには適していない、と論じます。
クライアントが複数の事前集約プロンプトを固定された非局所的な専門家としてダウンロードできるようにすることにより、適応プロンプトの個人化混合(pFedMoAP)を提案し、これは、専門家のレンズ(MoE)を通して迅速な学習プロセスをパーソナライズする新しいFLフレームワークである。
pFedMoAPは、ローカルおよびダウンロードされた非ローカルアダプティブプロンプトの専門家の恩恵を受けながら、クライアント上のローカルイメージデータとの整合性を改善するために強化されたテキスト機能を生成することを学ぶ、ローカルアテンションベースのゲーティングネットワークを実装している。
非ローカルの専門家は、サーバがメンテナンスするプールから疎結合に選択され、クライアント間の協調学習を促進する。
提案アルゴリズムを評価するために, 種々の異種フェデレーション設定下で, 9つのデータセットにまたがる広範囲な実験を行った。
その結果、pFedMoAPは最先端の代替手段を一貫して上回り、CLIPの迅速な学習をフェデレート学習パラダイム内でパーソナライズする効果が強調された。
関連論文リスト
- Global and Local Prompts Cooperation via Optimal Transport for Federated Learning [13.652593797756774]
本稿では,FedOTP(Federated Prompts Cooperation via Optimal Transport)を提案する。
具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するグローバルなプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルなプロンプトを学習する。
不均衡な最適輸送は、これらのプロンプトと局所的な視覚的特徴を整合させるために使用され、グローバルなコンセンサスと局所的なパーソナライゼーションのバランスを損なう。
論文 参考訳（メタデータ） (2024-02-29T11:43:04Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-30T04:03:31Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。