論文の概要: Dual Prompt Tuning for Domain-Aware Federated Learning
- arxiv url: http://arxiv.org/abs/2310.03103v3
- Date: Wed, 1 Nov 2023 21:09:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 16:45:34.961817
- Title: Dual Prompt Tuning for Domain-Aware Federated Learning
- Title(参考訳): ドメイン認識フェデレーション学習のためのデュアルプロンプトチューニング
- Authors: Guoyizhe Wei, Feng Wang, Anshul Shah, Rama Chellappa
- Abstract要約: フェデレートラーニング(Federated Learning)は、複数のクライアントがローカルデータで共有モデルを共同でトレーニングできる分散機械学習パラダイムである。
本研究では、各クライアントのトレーニングデータが異なるドメインから派生する、挑戦的で現実的なフェデレートされた学習シナリオについて考察する。
本稿では,Fed-DPT(Federated Dual Prompt Tuning)と呼ばれる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 41.67131700055188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a distributed machine learning paradigm that allows
multiple clients to collaboratively train a shared model with their local data.
Nonetheless, conventional federated learning algorithms often struggle to
generalize well due to the ubiquitous domain shift across clients. In this
work, we consider a challenging yet realistic federated learning scenario where
the training data of each client originates from different domains. We address
the challenges of domain shift by leveraging the technique of prompt learning,
and propose a novel method called Federated Dual Prompt Tuning (Fed-DPT).
Specifically, Fed-DPT employs a pre-trained vision-language model and then
applies both visual and textual prompt tuning to facilitate domain adaptation
over decentralized data. Extensive experiments of Fed-DPT demonstrate its
significant effectiveness in domain-aware federated learning. With a
pre-trained CLIP model (ViT-Base as image encoder), the proposed Fed-DPT
attains 68.4% average accuracy over six domains in the DomainNet dataset, which
improves the original CLIP by a large margin of 14.8%.
- Abstract(参考訳): フェデレートラーニング(Federated Learning)は、複数のクライアントがローカルデータで共有モデルを共同でトレーニングできる分散機械学習パラダイムである。
それでも、従来の連合学習アルゴリズムは、クライアント間のユビキタスなドメインシフトのために、うまく一般化できないことが多い。
本研究では、各クライアントのトレーニングデータが異なるドメインから派生する、挑戦的で現実的なフェデレート学習シナリオについて考察する。
本稿では,素早い学習技術を活用したドメインシフトの課題に対処し,Fed-DPT(Federated Dual Prompt Tuning)と呼ばれる新しい手法を提案する。
具体的には、feed-dptは事前訓練されたビジョン言語モデルを採用し、視覚とテキストの両方のプロンプトチューニングを適用して分散データに対するドメイン適応を促進する。
Fed-DPTの大規模な実験は、ドメイン対応のフェデレーション学習においてその顕著な効果を示した。
事前トレーニングされたCLIPモデル(イメージエンコーダとしてのViT-Base)により、提案されたFed-DPTは、DomainNetデータセットの6つのドメインの平均精度を68.4%向上し、オリジナルのCLIPを14.8%向上させた。
関連論文リスト
- DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain
Generalization in Federated Learning [20.51179258856028]
フェデレートラーニング(FL)は、分散データから学ぶための強力なパラダイムとして登場した。
既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、その評価はドメインの数に明確な制約を課している。
本稿では,ドメイン一般化のための適応的なプロンプトを分散的に学習することで,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)を提案する。
論文 参考訳(メタデータ) (2024-03-11T15:58:15Z) - FACT: Federated Adversarial Cross Training [0.0]
Federated Adrial Cross Training (FACT)は、ソースクライアント間の暗黙のドメイン差を利用して、ターゲットドメイン内のドメインシフトを特定する。
我々は、FACTが最先端のフェデレーション、非フェデレーション、およびソースフリードメイン適応モデルより優れていることを実証的に示す。
論文 参考訳(メタデータ) (2023-06-01T12:25:43Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-22T04:06:29Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - FedDAR: Federated Domain-Aware Representation Learning [14.174833360938806]
クロスサイロ・フェデレーション・ラーニング(FL)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。
本稿では,ドメイン共有表現とドメインワイド・パーソナライズされた予測ヘッドを学習する新しい手法であるFedDARを提案する。
論文 参考訳(メタデータ) (2022-09-08T19:18:59Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳(メタデータ) (2022-05-19T03:32:03Z) - Federated Learning with Domain Generalization [11.92860245410696]
フェデレートラーニング(Federated Learning)は、集中型サーバの助けを借りて、機械学習モデルを共同でトレーニングすることを可能にする。
実際には、複数のソースドメイン上でトレーニングされたモデルは、目に見えないターゲットドメイン上での一般化性能が劣る可能性がある。
我々は,フェデレート学習とドメイン一般化能力の両立を図り,FedADGを提案する。
論文 参考訳(メタデータ) (2021-11-20T01:02:36Z) - Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。
そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。
提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
論文 参考訳(メタデータ) (2021-06-07T08:38:41Z) - Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。
本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。
ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
論文 参考訳(メタデータ) (2021-04-01T23:41:41Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。