論文の概要: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2410.10114v2
- Date: Wed, 16 Oct 2024 12:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 03:04:18.074279
- Title: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
- Title（参考訳）: パーソナライズされたエキスパートの混合:ビジョンランゲージモデルのためのフェデレーション・プロンプト学習
- Authors: Jun Luo, Chen Chen, Shandong Wu,
- Abstract要約: 我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。
pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。
その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
- 参考スコア（独自算出の注目度）: 7.810284483002312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt learning for pre-trained Vision-Language Models (VLMs) like CLIP has demonstrated potent applicability across diverse downstream tasks. This lightweight approach has quickly gained traction from federated learning (FL) researchers who seek to efficiently adapt VLMs to heterogeneous scenarios. However, current federated prompt learning methods are habitually restricted to the traditional FL paradigm, where the participating clients are generally only allowed to download a single globally aggregated model from the server. While justifiable for training full-sized models under federated settings, in this work, we argue that this paradigm is ill-suited for lightweight prompts. By facilitating the clients to download multiple pre-aggregated prompts as fixed non-local experts, we propose Personalized Federated Mixture of Adaptive Prompts (pFedMoAP), a novel FL framework that personalizes the prompt learning process through the lens of Mixture of Experts (MoE). pFedMoAP implements a local attention-based gating network that learns to generate enhanced text features for better alignment with local image data on the client, benefiting from both local and downloaded non-local adaptive prompt experts. The non-local experts are sparsely selected from a server-maintained pool, fostering collaborative learning across clients. To evaluate the proposed algorithm, we conduct extensive experiments across 9 datasets under various heterogeneous federated settings. The results show that pFedMoAP consistently outperforms the state-of-the-art alternatives, underscoring its efficacy in personalizing prompt learning for CLIP within the federated learning paradigm.
- Abstract（参考訳）: CLIPのような事前訓練されたビジョンランゲージモデル(VLM)のプロンプト学習は、さまざまな下流タスクにまたがる強力な適用性を示している。
この軽量なアプローチは、VLMをヘテロジニアスなシナリオに効果的に適応しようとする連邦学習(FL)研究者から、急速に注目を集めている。
しかし、現在のフェデレートされたプロンプト学習手法は、通常、従来のFLパラダイムに制限されており、参加するクライアントは通常、サーバから単一のグローバル集約モデルしかダウンロードできない。
フェデレートされた設定下でのフルサイズのモデルのトレーニングには適していますが、この作業では、このパラダイムは軽量なプロンプトには適していない、と論じます。
クライアントが複数の事前集約プロンプトを固定された非局所的な専門家としてダウンロードできるようにすることにより、適応プロンプトの個人化混合(pFedMoAP)を提案し、これは、専門家のレンズ(MoE)を通して迅速な学習プロセスをパーソナライズする新しいFLフレームワークである。
pFedMoAPは、ローカルおよびダウンロードされた非ローカルアダプティブプロンプトの専門家の恩恵を受けながら、クライアント上のローカルイメージデータとの整合性を改善するために強化されたテキスト機能を生成することを学ぶ、ローカルアテンションベースのゲーティングネットワークを実装している。
非ローカルの専門家は、サーバがメンテナンスするプールから疎結合に選択され、クライアント間の協調学習を促進する。
提案アルゴリズムを評価するために, 種々の異種フェデレーション設定下で, 9つのデータセットにまたがる広範囲な実験を行った。
その結果、pFedMoAPは最先端の代替手段を一貫して上回り、CLIPの迅速な学習をフェデレート学習パラダイム内でパーソナライズする効果が強調された。
関連論文リスト
- Open-Vocabulary Federated Learning with Multimodal Prototyping [14.95283651408951]
フェデレートラーニング(FL)の文脈における視覚言語モデル(VLM)に適した新しい適応フレームワークを提案する。
Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。
各種データセットに対する実証実験により,Fed-MPの有効性が検証された。
論文 参考訳（メタデータ） (2024-04-01T16:51:13Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Context-Aware Prompt Tuning for Vision-Language Model with
Dual-Alignment [15.180715595425864]
我々は、事前学習された大言語モデル(LLM)を組み込むことで、視覚言語モデルの迅速な学習を改善する新しい手法を提案する。
DuAl-PTでは、明示的および暗黙的両方のコンテキストモデリングの恩恵を受けながら、よりコンテキスト対応のプロンプトを学習することを提案する。
実証的には、DuAl-PTは、数ショットの認識とベース・ツー・ニューな一般化で、11のダウンストリームデータセット上で優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-09-08T06:51:15Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Personalized Federated Learning with Local Attention [5.018560254008613]
Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。
FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。
textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。
pFedLAでは2つのモジュールが提案されている。
論文 参考訳（メタデータ） (2023-04-02T20:10:32Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
論文 参考訳（メタデータ） (2022-10-05T17:05:56Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳（メタデータ） (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。