論文の概要: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2410.10114v3
• Date: Sat, 15 Feb 2025 17:49:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:07:21.404579
• Title: Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
• Title（参考訳）: パーソナライズされたエキスパートの混合:ビジョンランゲージモデルのためのフェデレーション・プロンプト学習
• Authors: Jun Luo, Chen Chen, Shandong Wu,
• Abstract要約: フェデレート・プロンプト学習は,CLIP-like Vision-Language Model's (VLM's) によるファシリテート学習による堅牢な表現学習能力により,フェデレーション・プロンプト学習の恩恵を受ける。 現在のフェデレートされたプロンプト学習手法は、通常、従来のFLパラダイムに制限されており、参加するクライアントは通常、サーバから単一のグローバル集約モデルしかダウンロードできない。 適応確率の個人化混合(pFedMoAP)を提案する。これは、エキスパートの混合レンズ(MoE)を通して、迅速な学習プロセスをパーソナライズする新しいFLフレームワークである。
• 参考スコア（独自算出の注目度）: 7.810284483002312
• License:
• Abstract: Federated prompt learning benefits federated learning with CLIP-like Vision-Language Model's (VLM's) robust representation learning ability through prompt learning. However, current federated prompt learning methods are habitually restricted to the traditional FL paradigm, where the participating clients are generally only allowed to download a single globally aggregated model from the server. While justifiable for training full-sized models under federated settings, in this work, we argue that this paradigm is ill-suited for lightweight prompts. By facilitating the clients to download multiple pre-aggregated prompts as fixed non-local experts, we propose Personalized Federated Mixture of Adaptive Prompts (pFedMoAP), a novel FL framework that personalizes the prompt learning process through the lens of Mixture of Experts (MoE). pFedMoAP implements a local attention-based gating network that learns to generate enhanced text features for better alignment with local image data, benefiting from both local and downloaded non-local adaptive prompt experts. Extensive experiments on 9 datasets under various federated settings demonstrate the efficacy of the proposed pFedMoAP algorithm. The code is available at https://github.com/ljaiverson/pFedMoAP.
• Abstract（参考訳）: フェデレート・プロンプト学習は,CLIP-like Vision-Language Model's (VLM's) によるファシリテート学習による堅牢な表現学習能力により,フェデレーション・プロンプト学習の恩恵を受ける。 しかし、現在のフェデレートされたプロンプト学習手法は、通常、従来のFLパラダイムに制限されており、参加するクライアントは通常、サーバから単一のグローバル集約モデルしかダウンロードできない。 フェデレートされた設定下でのフルサイズのモデルのトレーニングには適していますが、この作業では、このパラダイムは軽量なプロンプトには適していない、と論じます。 クライアントが複数の事前集約プロンプトを固定された非局所的な専門家としてダウンロードできるようにすることにより、適応プロンプトの個人化混合(pFedMoAP)を提案し、これは、専門家のレンズ(MoE)を通して迅速な学習プロセスをパーソナライズする新しいFLフレームワークである。 pFedMoAPは、ローカルアテンションベースのゲーティングネットワークを実装しており、ローカルイメージデータとの整合性を改善するために、ローカルおよびダウンロードされた非ローカルアダプティブプロンプトの専門家の恩恵を受けるために、強化されたテキスト機能を生成することを学ぶ。 各種フェデレートされた条件下での9つのデータセットに対する大規模な実験により,提案したpFedMoAPアルゴリズムの有効性が示された。 コードはhttps://github.com/ljaiverson/pFedMoAPで公開されている。

関連論文リスト

• Open-Vocabulary Federated Learning with Multimodal Prototyping [14.95283651408951]
  フェデレートラーニング(FL)の文脈における視覚言語モデル(VLM)に適した新しい適応フレームワークを提案する。 Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。 各種データセットに対する実証実験により,Fed-MPの有効性が検証された。
  論文  参考訳（メタデータ） (2024-04-01T16:51:13Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• Context-Aware Prompt Tuning for Vision-Language Model with Dual-Alignment [15.180715595425864]
  我々は、事前学習された大言語モデル(LLM)を組み込むことで、視覚言語モデルの迅速な学習を改善する新しい手法を提案する。 DuAl-PTでは、明示的および暗黙的両方のコンテキストモデリングの恩恵を受けながら、よりコンテキスト対応のプロンプトを学習することを提案する。 実証的には、DuAl-PTは、数ショットの認識とベース・ツー・ニューな一般化で、11のダウンストリームデータセット上で優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-09-08T06:51:15Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Personalized Federated Learning with Local Attention [5.018560254008613]
  Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。 FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。 textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。 pFedLAでは2つのモジュールが提案されている。
  論文  参考訳（メタデータ） (2023-04-02T20:10:32Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
  PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
  論文  参考訳（メタデータ） (2021-11-03T03:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。