論文の概要: Cross-domain Federated Adaptive Prompt Tuning for CLIP

• arxiv url: http://arxiv.org/abs/2211.07864v1
• Date: Tue, 15 Nov 2022 03:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:52:04.119944
• Title: Cross-domain Federated Adaptive Prompt Tuning for CLIP
• Title（参考訳）: クリップのクロスドメインフェデレーション適応プロンプトチューニング
• Authors: Shangchao Su and Mingzhao Yang and Bin Li and Xiangyang Xue
• Abstract要約: フェデレートラーニング(FL)は、複数のパーティがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 クロスドメイン・フェデレーション・イメージ分類のシナリオに対して,フェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
• 参考スコア（独自算出の注目度）: 42.59845771101823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) allows multiple parties to collaboratively train a global model without disclosing their data. Existing research often requires all model parameters to participate in the training procedure. However, with the advent of powerful pre-trained models, it becomes possible to achieve higher performance with fewer learnable parameters in FL. In this paper, we propose a federated adaptive prompt tuning algorithm, FedAPT, for cross-domain federated image classification scenarios with the vision-language pre-trained model, CLIP, which gives play to the strong representation ability in FL. Compared with direct federated prompt tuning, our core idea is to adaptively unlock specific domain knowledge for each test sample in order to provide them with personalized prompts. To implement this idea, we design an adaptive prompt tuning module, which consists of a global prompt, an adaptive network, and some keys. The server randomly generates a set of keys and assigns a unique key to each client. Then all clients cooperatively train the global adaptive network and global prompt with the local datasets and the frozen keys. Ultimately, the global aggregation model can assign a personalized prompt to CLIP based on the domain features of each test sample. We perform extensive experiments on two multi-domain image classification datasets. The results show that FedAPT can achieve better performance with less than 10\% of the number of parameters of the fully trained model, and the global model can perform well in different client domains simultaneously.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のパーティがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 既存の研究は、訓練手順に参加するために、しばしば全てのモデルパラメータを必要とする。 しかし、強力な事前学習モデルが出現すると、FLの学習可能なパラメータを少なくしてより高い性能を達成することができる。 本稿では,視覚言語による事前学習モデルであるCLIPを用いて,ドメイン間フェデレートされた画像分類シナリオに対するフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。 直接のフェデレーションプロンプトチューニングと比較して、私たちの核となるアイデアは、各テストサンプルの特定のドメイン知識を適応的にアンロックして、パーソナライズされたプロンプトを提供することです。 このアイデアを実現するために,グローバルプロンプト,適応ネットワーク,いくつかのキーからなる適応型プロンプトチューニングモジュールを設計した。 サーバはランダムにキーのセットを生成し、各クライアントにユニークなキーを割り当てる。 そして、すべてのクライアントがグローバル適応ネットワークとグローバルプロンプトをローカルデータセットと凍結キーで協調的にトレーニングする。 最終的に、グローバルアグリゲーションモデルは、各テストサンプルのドメイン機能に基づいて、パーソナライズされたプロンプトをCLIPに割り当てることができる。 2つの多領域画像分類データセットについて広範な実験を行った。 その結果、FedAPTは、完全に訓練されたモデルのパラメータの10分の1以下でより良いパフォーマンスを達成でき、グローバルモデルは異なるクライアントドメインで同時に性能を向上できることがわかった。

関連論文リスト

• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection [14.261582708240407]
  FL(Multimodal Federated Learning)は、FL設定におけるモデルトレーニングを強化することを目的としている。 マルチモーダルFLの鍵となる課題は、特に異種ネットワーク設定において、未適応のままである。 マルチモーダル設定における上記の課題に対処できる新しいFL手法であるmmFedMCを提案する。
  論文  参考訳（メタデータ） (2024-01-30T02:16:19Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• LPT: Long-tailed Prompt Tuning for Image Classification [178.52948452353834]
  凍結事前訓練モデルに複数のトレーニング可能なプロンプトを導入し、長い尾を持つデータに適用する。 フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。 フェーズ2では、学習した共有プロンプトをクエリとして使用し、類似したサンプルのグループに対して、マッチした小さなベストセットを選択する。
  論文  参考訳（メタデータ） (2022-10-03T15:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。