論文の概要: Multi-Prompt Alignment for Multi-source Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2209.15210v1
- Date: Fri, 30 Sep 2022 03:40:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 15:43:54.702453
- Title: Multi-Prompt Alignment for Multi-source Unsupervised Domain Adaptation
- Title（参考訳）: マルチプロンプトアライメントによるマルチソース非教師なしドメイン適応
- Authors: Haoran Chen, Zuxuan Wu, Yu-Gang Jiang
- Abstract要約: マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的な2段階フレームワークである。
MPAは、複数の学習プロンプトの一致を最大化する自動符号化プロセスを通じて、低次元の潜在空間を導出する。
提案手法は,これまでで最も困難なUDAデータセットであるDomainNetの平均精度54.1%を達成し,パラメータのトレーニングは15.9Mに留まった。
- 参考スコア（独自算出の注目度）: 84.50050199378154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing methods for multi-source unsupervised domain adaptation (UDA)
rely on a common feature encoder to extract domain-invariant features. However,
learning such an encoder involves updating the parameters of the entire
network, which makes the optimization computationally expensive, particularly
when coupled with min-max objectives. Inspired by recent advances in prompt
learning that adapts high-capacity deep models for downstream tasks in a
computationally economic way, we introduce Multi-Prompt Alignment (MPA), a
simple yet efficient two-stage framework for multi-source UDA. Given a source
and target domain pair, MPA first trains an individual prompt to minimize the
domain gap through a contrastive loss, while tuning only a small set of
parameters. Then, MPA derives a low-dimensional latent space through an
auto-encoding process that maximizes the agreement of multiple learned prompts.
The resulting embedding further facilitates generalization to unseen domains.
Extensive experiments show that our method achieves state-of-the-art results on
popular benchmark datasets while requiring substantially fewer tunable
parameters. To the best of our knowledge, we are the first to apply prompt
learning to the multi-source UDA problem and our method achieves the highest
reported average accuracy of 54.1% on DomainNet, the most challenging UDA
dataset to date, with only 15.9M parameters trained. More importantly, we
demonstrate that the learned embedding space can be easily adapted to novel
unseen domains.
- Abstract（参考訳）: 既存のUDA(Multi-source unsupervised domain adaptation)の手法は、共通機能エンコーダを使ってドメイン不変の特徴を抽出する。
しかし、そのようなエンコーダを学習するにはネットワーク全体のパラメータを更新することが必要であり、特にmin-maxの目的と組み合わせると最適化は計算コストが高くなる。
計算的経済的な方法で下流タスクに高容量の深層モデルを適用する、近年の学習の進歩に触発され、マルチプロンプトアライメント(MPA)を導入し、マルチソースUDAのためのシンプルで効率的な2段階フレームワークを提案する。
ソースとターゲットのドメインペアが与えられた後、MPAはまず個々のプロンプトをトレーニングし、対照的な損失によってドメインギャップを最小限に抑える。
そして、MPAは、複数の学習プロンプトの一致を最大化する自動符号化プロセスを通じて、低次元の潜在空間を導出する。
この埋め込みにより、目に見えない領域への一般化がさらに促進される。
広範囲な実験により,本手法は一般的なベンチマークデータセットで最先端の結果を得ると同時に,パラメータをかなり少なくできることを示した。
我々の知る限り、我々はまず、マルチソースのUDA問題に即時学習を適用し、我々の手法は、これまでで最も難しいUDAデータセットであるDomainNet上で54.1%の平均精度を、たった15.9万のパラメータで達成した。
さらに重要なことに、学習された埋め込み空間が、新しい未知の領域に容易に適応できることを実証する。
関連論文リスト
- Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning [20.17925272562433]
マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。
本稿では,D-Train(Decoupled Training, D-Train)を提案する。
D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
論文 参考訳（メタデータ） (2023-09-19T04:06:41Z) - Adapting Self-Supervised Representations to Multi-Domain Setups [47.03992469282679]
現在の最先端の自己教師型アプローチは、個々のドメインで訓練するときに有効であるが、目に見えないドメインでは限定的な一般化を示す。
本稿では,汎用的で軽量なドメイン・ディスタングル・モジュールを提案する。
論文 参考訳（メタデータ） (2023-09-07T20:05:39Z) - Dynamic Domain Discrepancy Adjustment for Active Multi-Domain Adaptation [3.367755441623275]
マルチソースアン教師付きドメイン適応(MUDA)は、関連するソースドメインから未ラベルのターゲットドメインに知識を転送することを目的としている。
アクティブマルチドメイン適応(D3AAMDA)のための動的ドメイン不一致適応法(Dynamic Domain Disrepancy Adjustment)を提案する。
このメカニズムは、ソースドメインとターゲットドメイン間の特徴のアライメントレベルを制御し、ソースドメイン内のローカルな有利な特徴情報を効果的に活用する。
論文 参考訳（メタデータ） (2023-07-26T09:40:19Z) - TDACNN: Target-domain-free Domain Adaptation Convolutional Neural
Network for Drift Compensation in Gas Sensors [6.451060076703026]
本稿では,ターゲットドメインレスドメイン適応畳み込みニューラルネットワーク(TDACNN)に基づくディープラーニングを提案する。
主な概念は、CNNがサンプルのドメイン固有の特徴を抽出するだけでなく、ソースドメインとターゲットドメインの両方の基礎となるドメイン不変の特徴も抽出することである。
異なる設定下でドリフトする2つのデータセットの実験は、いくつかの最先端手法と比較してTDACNNの優位性を示している。
論文 参考訳（メタデータ） (2021-10-14T16:30:17Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-08-28T09:29:14Z) - Multi-Source Domain Adaptation for Object Detection [52.87890831055648]
我々は、Divide-and-Merge Spindle Network (DMSN)と呼ばれる、より高速なR-CNNベースのフレームワークを提案する。
DMSNはドメイン非ネイティブを同時に強化し、識別力を維持することができる。
擬似目標部分集合の最適パラメータを近似する新しい擬似学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-06-30T03:17:20Z) - Multi-path Neural Networks for On-device Multi-domain Visual
Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。
提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。
決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文 参考訳（メタデータ） (2020-10-10T05:13:49Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳（メタデータ） (2020-05-14T04:23:24Z) - Mutual Learning Network for Multi-Source Domain Adaptation [73.25974539191553]
ML-MSDA(Multial Learning Network for Multiple Source Domain Adaptation)を提案する。
相互学習の枠組みのもと,提案手法は対象ドメインと各ソースドメインをペアリングし,条件付き対向ドメイン適応ネットワークを分岐ネットワークとして訓練する。
提案手法は, 比較手法より優れ, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-03-29T04:31:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。