論文の概要: Open-Vocabulary Federated Learning with Multimodal Prototyping
- arxiv url: http://arxiv.org/abs/2404.01232v2
- Date: Tue, 2 Apr 2024 15:03:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 21:46:03.112239
- Title: Open-Vocabulary Federated Learning with Multimodal Prototyping
- Title(参考訳): マルチモーダルプロトタイピングによるオープン語彙フェデレーション学習
- Authors: Huimin Zeng, Zhenrui Yue, Dong Wang,
- Abstract要約: フェデレートラーニング(FL)の文脈における視覚言語モデル(VLM)に適した新しい適応フレームワークを提案する。
Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。
各種データセットに対する実証実験により,Fed-MPの有効性が検証された。
- 参考スコア(独自算出の注目度): 14.95283651408951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing federated learning (FL) studies usually assume the training label space and test label space are identical. However, in real-world applications, this assumption is too ideal to be true. A new user could come up with queries that involve data from unseen classes, and such open-vocabulary queries would directly defect such FL systems. Therefore, in this work, we explicitly focus on the under-explored open-vocabulary challenge in FL. That is, for a new user, the global server shall understand her/his query that involves arbitrary unknown classes. To address this problem, we leverage the pre-trained vision-language models (VLMs). In particular, we present a novel adaptation framework tailored for VLMs in the context of FL, named as Federated Multimodal Prototyping (Fed-MP). Fed-MP adaptively aggregates the local model weights based on light-weight client residuals, and makes predictions based on a novel multimodal prototyping mechanism. Fed-MP exploits the knowledge learned from the seen classes, and robustifies the adapted VLM to unseen categories. Our empirical evaluation on various datasets validates the effectiveness of Fed-MP.
- Abstract(参考訳): 既存の連邦学習(FL)研究は通常、トレーニングラベル空間とテストラベル空間が同一であると仮定する。
しかし、現実世界の応用では、この仮定は真であるには理想的すぎる。
新しいユーザは、目に見えないクラスのデータを含むクエリを思いつき、そのようなオープン語彙のクエリは、そのようなFLシステムを直に障害する可能性がある。
そこで本研究では,FLにおける未探索のオープン語彙問題に着目する。
つまり、新しいユーザにとって、グローバルサーバは、任意の未知のクラスを含む彼女の/彼のクエリを理解しなければならない。
この問題に対処するために、事前学習された視覚言語モデル(VLM)を利用する。
特に,Fed-MP (Federated Multimodal Prototyping) という名称のFLの文脈で VLM に適した適応フレームワークを提案する。
Fed-MPは、軽量クライアント残量に基づいて局所モデル重みを適応的に集約し、新しいマルチモーダルプロトタイピング機構に基づいて予測を行う。
Fed-MPは、見知らぬクラスから学んだ知識を活用し、適応されたVLMを目に見えないカテゴリに強化する。
各種データセットに対する実証実験により,Fed-MPの有効性が検証された。
関連論文リスト
- Language-Guided Transformer for Federated Multi-Label Classification [32.26913287627532]
フェデレートラーニング(FL)は、複数のユーザがプライベートデータを共有せずに、プライバシー保護の方法で堅牢なモデルを共同でトレーニングすることを可能にする。
FLの既存のアプローチのほとんどは、タスクをマルチラベル画像分類に移行する際の影響を無視して、従来のシングルラベル画像分類のみを考慮する。
本稿では,この課題に対処するために,言語ガイドトランスフォーマー(FedLGT)の新たなFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-12T11:03:51Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-28T20:42:47Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳(メタデータ) (2022-04-07T09:12:00Z) - Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文 参考訳(メタデータ) (2021-10-26T03:41:48Z) - The Role of Global Labels in Few-Shot Classification and How to Infer
Them [55.64429518100676]
メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。
本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
論文 参考訳(メタデータ) (2021-08-09T14:07:46Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳(メタデータ) (2020-12-06T15:46:04Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。