論文の概要: DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning

• arxiv url: http://arxiv.org/abs/2403.08506v1
• Date: Mon, 11 Mar 2024 15:58:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 14:10:54.824158
• Title: DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning
• Title（参考訳）: DiPrompT: 多重潜在ドメインのためのアンタングル型プロンプトチューニング フェデレートラーニングにおける一般化
• Authors: Sikai Bai, Jie Zhang, Shuaicheng Li, Song Guo, Jingcai Guo, Jun Hou, Tao Han, and Xiaocheng Lu
• Abstract要約: フェデレートラーニング(FL)は、分散データから学ぶための強力なパラダイムとして登場した。 既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、その評価はドメインの数に明確な制約を課している。 本稿では,ドメイン一般化のための適応的なプロンプトを分散的に学習することで,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)を提案する。
• 参考スコア（独自算出の注目度）: 20.51179258856028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as a powerful paradigm for learning from decentralized data, and federated domain generalization further considers the test dataset (target domain) is absent from the decentralized training data (source domains). However, most existing FL methods assume that domain labels are provided during training, and their evaluation imposes explicit constraints on the number of domains, which must strictly match the number of clients. Because of the underutilization of numerous edge devices and additional cross-client domain annotations in the real world, such restrictions may be impractical and involve potential privacy leaks. In this paper, we propose an efficient and novel approach, called Disentangled Prompt Tuning (DiPrompT), a method that tackles the above restrictions by learning adaptive prompts for domain generalization in a distributed manner. Specifically, we first design two types of prompts, i.e., global prompt to capture general knowledge across all clients and domain prompts to capture domain-specific knowledge. They eliminate the restriction on the one-to-one mapping between source domains and local clients. Furthermore, a dynamic query metric is introduced to automatically search the suitable domain label for each sample, which includes two-substep text-image alignments based on prompt tuning without labor-intensive annotation. Extensive experiments on multiple datasets demonstrate that our DiPrompT achieves superior domain generalization performance over state-of-the-art FL methods when domain labels are not provided, and even outperforms many centralized learning methods using domain labels.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は分散化されたデータから学習するための強力なパラダイムとして現れており、フェデレーテッド・ドメインの一般化はさらに、テストデータセット(ターゲット・ドメイン)が分散化されたトレーニングデータ(ソース・ドメイン)から欠落していると考えている。 しかしながら、既存のFLメソッドの多くは、トレーニング中にドメインラベルが提供されると仮定し、それらの評価は、クライアントの数に厳密に一致するように、ドメインの数に明示的な制約を課している。 多くのエッジデバイスが未使用であり、現実世界でクロスクライアントなドメインアノテーションが追加されているため、そのような制限は実用的ではなく、潜在的なプライバシー漏洩を伴う可能性がある。 本稿では,ドメイン一般化のための適応的プロンプトを分散的に学習することにより,上記の制約に対処するDistangled Prompt Tuning(DiPrompT)という,効率的で斬新な手法を提案する。 具体的には、まず、グローバルプロンプト(グローバルプロンプト)という2つのタイプのプロンプトを設計し、すべてのクライアントにまたがる一般的な知識をキャプチャし、ドメイン固有の知識をキャプチャするドメインプロンプトを設計する。 ソースドメインとローカルクライアント間の1対1マッピングの制限を取り除く。 さらに、各サンプルに対して適切なドメインラベルを自動的に検索する動的クエリメトリックを導入し、労働集約アノテーションを使わずにプロンプトチューニングに基づく2段階のテキストイメージアライメントを含む。 複数のデータセットに対する大規模な実験により、ドメインラベルが提供されていない場合、我々のDiPrompTは最先端のFLメソッドよりも優れたドメイン一般化性能を達成でき、ドメインラベルを用いた多くの集中学習方法よりも優れています。

関連論文リスト

• Domain Adaptive Few-Shot Open-Set Learning [36.39622440120531]
  本稿では,DA-FSOS(Domain Adaptive Few-Shot Open Set Recognition)を提案する。 我々のトレーニングアプローチは、DAFOS-NETがターゲットドメインの新しいシナリオにうまく適応できるようにします。 本稿では,Office-Home,mini-ImageNet/CUB,DomainNetデータセットに基づくDA-FSOSの3つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-09-22T12:04:47Z)
• Domain Generalization via Selective Consistency Regularization for Time Series Classification [16.338176636365752]
  ドメイン一般化手法は、限られた数のソースドメインからのデータで、ドメインシフトに頑健なモデルを学習することを目的としている。 本稿では,ソースドメイン間の予測一貫性を選択的に適用する表現学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-16T01:57:35Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Adaptive Methods for Aggregated Domain Generalization [26.215904177457997]
  多くの設定において、プライバシに関する懸念は、トレーニングデータサンプルのドメインラベルを取得することを禁止している。 本稿では,この問題に対するドメイン適応的アプローチを提案する。 提案手法は,ドメインラベルを使わずに,様々な領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-12-09T08:57:01Z)
• Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization [26.255457629490135]
  本稿では,高品質な擬似ラベルを生成するために,共同ドメイン認識ラベルと二重分類器を用いた新しいフレームワークを提案する。 ドメインシフト中の正確な擬似ラベルを予測するために、ドメイン対応擬似ラベルモジュールを開発する。 また、一般化と擬似ラベルの矛盾した目標を考えると、訓練過程において擬似ラベルとドメインの一般化を独立に行うために二重分類器を用いる。
  論文  参考訳（メタデータ） (2021-10-10T15:17:27Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。