論文の概要: Federated Domain Generalization via Prompt Learning and Aggregation
- arxiv url: http://arxiv.org/abs/2411.10063v1
- Date: Fri, 15 Nov 2024 09:26:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-18 15:39:37.504866
- Title: Federated Domain Generalization via Prompt Learning and Aggregation
- Title（参考訳）: プロンプト学習と集約によるフェデレーションドメインの一般化
- Authors: Shuai Gong, Chaoran Cui, Chunyun Zhang, Wenna Wang, Xiushan Nie, Lei Zhu,
- Abstract要約: フェデレーションドメイン一般化(FedDG)は、目に見えない領域におけるグローバルモデル一般化を改善することを目的としている。
既存のFedDG研究における一般的な戦略は、クライアント間でドメイン固有の知識を共有することである。
我々は、FedDGシナリオにおいて、事前学習された視覚言語モデル(VLM)を適応するための即時学習を導入する。
- 参考スコア（独自算出の注目度）: 20.933631678895765
- License:
- Abstract: Federated domain generalization (FedDG) aims to improve the global model generalization in unseen domains by addressing data heterogeneity under privacy-preserving constraints. A common strategy in existing FedDG studies involves sharing domain-specific knowledge among clients, such as spectrum information, class prototypes, and data styles. However, this knowledge is extracted directly from local client samples, and sharing such sensitive information poses a potential risk of data leakage, which might not fully meet the requirements of FedDG. In this paper, we introduce prompt learning to adapt pre-trained vision-language models (VLMs) in the FedDG scenario, and leverage locally learned prompts as a more secure bridge to facilitate knowledge transfer among clients. Specifically, we propose a novel FedDG framework through Prompt Learning and AggregatioN (PLAN), which comprises two training stages to collaboratively generate local prompts and global prompts at each federated round. First, each client performs both text and visual prompt learning using their own data, with local prompts indirectly synchronized by regarding the global prompts as a common reference. Second, all domain-specific local prompts are exchanged among clients and selectively aggregated into the global prompts using lightweight attention-based aggregators. The global prompts are finally applied to adapt VLMs to unseen target domains. As our PLAN framework requires training only a limited number of prompts and lightweight aggregators, it offers notable advantages in computational and communication efficiency for FedDG. Extensive experiments demonstrate the superior generalization ability of PLAN across four benchmark datasets.
- Abstract（参考訳）: フェデレーションドメイン一般化(FedDG)は、プライバシ保護制約の下でのデータの均一性に対処することにより、目に見えない領域におけるグローバルモデル一般化を改善することを目的としている。
既存のFedDG研究における一般的な戦略は、スペクトル情報、クラスプロトタイプ、データスタイルなど、クライアント間でドメイン固有の知識を共有することである。
しかし、この知識は、ローカルクライアントのサンプルから直接抽出され、そのような機密情報の共有は、データ漏洩の潜在的なリスクをもたらすため、FedDGの要件を完全に満たさない可能性がある。
本稿では,FedDGシナリオにおいて,事前学習された視覚言語モデル(VLM)を適応させるプロンプト学習を導入し,クライアント間の知識伝達を容易にするために,より安全なブリッジとしてローカル学習プロンプトを活用する。
具体的には,PLAN(Prompt Learning and AggregatioN)による新しいFedDGフレームワークを提案する。
まず、各クライアントは、それぞれのデータを用いてテキストと視覚的プロンプトの学習を行い、ローカルプロンプトは、グローバルプロンプトを共通参照として間接的に同期する。
次に、すべてのドメイン固有のローカルプロンプトをクライアント間で交換し、軽量なアグリゲータを使用してグローバルプロンプトに選択的に集約する。
グローバルプロンプトは最終的に、未確認のターゲットドメインにVLMを適用するために適用される。
我々のPLANフレームワークは限られた数のプロンプトと軽量アグリゲータしか必要としないため、FedDGの計算および通信効率において顕著なアドバンテージを提供する。
大規模な実験は、4つのベンチマークデータセットにわたるPLANの優れた一般化能力を示す。
関連論文リスト
- FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity [43.71967577443732]
フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。
最近の研究は、単に正規化の形式として平均的な信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。
マルチクラスタ機能を持つコントラストベースのFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-14T13:56:30Z) - Global and Local Prompts Cooperation via Optimal Transport for Federated Learning [13.652593797756774]
本稿では,FedOTP(Federated Prompts Cooperation via Optimal Transport)を提案する。
具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するグローバルなプロンプトと、クライアント固有のカテゴリ特性をキャプチャするローカルなプロンプトを学習する。
不均衡な最適輸送は、これらのプロンプトと局所的な視覚的特徴を整合させるために使用され、グローバルなコンセンサスと局所的なパーソナライゼーションのバランスを損なう。
論文 参考訳（メタデータ） (2024-02-29T11:43:04Z) - Federated Active Learning for Target Domain Generalisation [20.582521330618768]
アクティブラーニング(AL)とフェデレートドメイン一般化(FDG)を組み合わせたFEDALVを紹介する。
FDGは、限られたソースドメインクライアントのデータから訓練された画像分類モデルの一般化を可能にする。
FedaLVは、ソースクライアントのデータの5%をサンプリングしながら、完全なトレーニング対象精度のパフォーマンスを得る。
論文 参考訳（メタデータ） (2023-12-04T14:50:23Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation [7.052566906745796]
FedLPAは、フェデレートラーニングのための階層的な後続アグリゲーション手法である。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:51:27Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - Federated Generalized Category Discovery [68.35420359523329]
一般カテゴリー発見(GCD)は、未知のクラスからラベルのないサンプルをグループ化することを目的としている。
地域社会における近年の分権化の傾向に対応するため,フェデレーションGCD(Fed-GCD)という,実践的かつ困難な課題を導入する。
Fed-GCDの目標は、プライバシ保護された制約の下で、クライアントのコラボレーションによって汎用的なGCDモデルをトレーニングすることである。
論文 参考訳（メタデータ） (2023-05-23T14:27:41Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-05T09:15:13Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。