論文の概要: Open-Vocabulary Federated Learning with Multimodal Prototyping

• arxiv url: http://arxiv.org/abs/2404.01232v2
• Date: Tue, 2 Apr 2024 15:03:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:46:03.112239
• Title: Open-Vocabulary Federated Learning with Multimodal Prototyping
• Title（参考訳）: マルチモーダルプロトタイピングによるオープン語彙フェデレーション学習
• Authors: Huimin Zeng, Zhenrui Yue, Dong Wang,
• Abstract要約: フェデレートラーニング(FL)の文脈における視覚言語モデル(VLM)に適した新しい適応フレームワークを提案する。 Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。 各種データセットに対する実証実験により,Fed-MPの有効性が検証された。
• 参考スコア（独自算出の注目度）: 14.95283651408951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing federated learning (FL) studies usually assume the training label space and test label space are identical. However, in real-world applications, this assumption is too ideal to be true. A new user could come up with queries that involve data from unseen classes, and such open-vocabulary queries would directly defect such FL systems. Therefore, in this work, we explicitly focus on the under-explored open-vocabulary challenge in FL. That is, for a new user, the global server shall understand her/his query that involves arbitrary unknown classes. To address this problem, we leverage the pre-trained vision-language models (VLMs). In particular, we present a novel adaptation framework tailored for VLMs in the context of FL, named as Federated Multimodal Prototyping (Fed-MP). Fed-MP adaptively aggregates the local model weights based on light-weight client residuals, and makes predictions based on a novel multimodal prototyping mechanism. Fed-MP exploits the knowledge learned from the seen classes, and robustifies the adapted VLM to unseen categories. Our empirical evaluation on various datasets validates the effectiveness of Fed-MP.
• Abstract（参考訳）: 既存の連邦学習(FL)研究は通常、トレーニングラベル空間とテストラベル空間が同一であると仮定する。 しかし、現実世界の応用では、この仮定は真であるには理想的すぎる。 新しいユーザは、目に見えないクラスのデータを含むクエリを思いつき、そのようなオープン語彙のクエリは、そのようなFLシステムを直に障害する可能性がある。 そこで本研究では,FLにおける未探索のオープン語彙問題に着目する。 つまり、新しいユーザにとって、グローバルサーバは、任意の未知のクラスを含む彼女の/彼のクエリを理解しなければならない。 この問題に対処するために、事前学習された視覚言語モデル(VLM)を利用する。 特に,Fed-MP (Federated Multimodal Prototyping) という名称のFLの文脈で VLM に適した適応フレームワークを提案する。 Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。 Fed-MPは、見知らぬクラスから学んだ知識を活用し、適応されたVLMを目に見えないカテゴリに強化する。 各種データセットに対する実証実験により,Fed-MPの有効性が検証された。

関連論文リスト

• Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models [7.810284483002312]
  我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。 pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。 その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
  論文  参考訳（メタデータ） (2024-10-14T03:05:12Z)
• MLLM-FL: Multimodal Large Language Model Assisted Federated Learning on Heterogeneous and Long-tailed Data [25.45278447786954]
  MLLM-FL(Multimodal Large Language Model Assisted Federated Learning)と呼ばれる新しいフェデレーション学習フレームワークを導入する。 当社のフレームワークは,Webサイトや強力なサーバサイド計算リソースからアクセス可能な,広範かつ未公開のオープンソースデータを活用することに長けています。
  論文  参考訳（メタデータ） (2024-09-09T21:04:16Z)
• Learning from True-False Labels via Multi-modal Prompt Retrieving [4.940676168993664]
  本稿では,視覚言語モデル(VLM)によって生成される場合の高精度化を実現するために,TFL(True-False Labels)という,弱教師付きラベル設定を提案する。 理論的には、TFLの条件付き確率分布情報を探索し、利用するためのリスク一貫性推定器を導出する。 実験の結果,提案したTFL設定法とMPP学習法の有効性が示された。
  論文  参考訳（メタデータ） (2024-05-24T05:39:15Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。