論文の概要: Prompt-based Distribution Alignment for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2312.09553v2
• Date: Fri, 26 Jan 2024 16:31:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 17:23:13.414265
• Title: Prompt-based Distribution Alignment for Unsupervised Domain Adaptation
• Title（参考訳）: 教師なし領域適応のためのプロンプトベース分布アライメント
• Authors: Shuanghao Bai, Min Zhang, Wanqi Zhou, Siteng Huang, Zhirong Luan, Donglin Wang and Badong Chen
• Abstract要約: 教師なし学習型視覚言語モデル(VLM)は、ソースドメインとターゲットドメイン間の分布差を著しく低減できることを示す。 このようなモデルを下流のUDAタスクに直接デプロイする上での大きな課題は、迅速なエンジニアリングである。 本稿では,ドメイン知識を素早い学習に組み込むためのPDA手法を提案する。
• 参考スコア（独自算出の注目度）: 42.77798810726824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, despite the unprecedented success of large pre-trained visual-language models (VLMs) on a wide range of downstream tasks, the real-world unsupervised domain adaptation (UDA) problem is still not well explored. Therefore, in this paper, we first experimentally demonstrate that the unsupervised-trained VLMs can significantly reduce the distribution discrepancy between source and target domains, thereby improving the performance of UDA. However, a major challenge for directly deploying such models on downstream UDA tasks is prompt engineering, which requires aligning the domain knowledge of source and target domains, since the performance of UDA is severely influenced by a good domain-invariant representation. We further propose a Prompt-based Distribution Alignment (PDA) method to incorporate the domain knowledge into prompt learning. Specifically, PDA employs a two-branch prompt-tuning paradigm, namely base branch and alignment branch. The base branch focuses on integrating class-related representation into prompts, ensuring discrimination among different classes. To further minimize domain discrepancy, for the alignment branch, we construct feature banks for both the source and target domains and propose image-guided feature tuning (IFT) to make the input attend to feature banks, which effectively integrates self-enhanced and cross-domain features into the model. In this way, these two branches can be mutually promoted to enhance the adaptation of VLMs for UDA. We conduct extensive experiments on three benchmarks to demonstrate that our proposed PDA achieves state-of-the-art performance. The code is available at https://github.com/BaiShuanghao/Prompt-based-Distribution-Alignment.
• Abstract（参考訳）: 近年,大規模な事前学習型視覚言語モデル(VLM)が幅広い下流タスクで成功しているにもかかわらず,現実の非教師なし領域適応(UDA)問題はいまだよく研究されていない。 そこで本研究では,教師なし学習VLMがソース領域とターゲット領域の分布差を大幅に低減し,UDAの性能を向上できることを示す。 しかし、下流のUDAタスクにそのようなモデルを直接デプロイする上での大きな課題は、優れたドメイン不変表現の影響を受けやすいため、ソースおよびターゲットドメインのドメイン知識を整合させる必要がある、即時エンジニアリングである。 さらに,ドメイン知識を素早い学習に組み込むために,PDA(Prompt-based Distribution Alignment)手法を提案する。 具体的には、PDAは2ブランチのプロンプトチューニングパラダイム、すなわちベースブランチとアライメントブランチを採用している。 ベースブランチは、クラス関連の表現をプロンプトに統合し、異なるクラス間の差別を保証することに焦点を当てている。 さらに、アライメントブランチにおいて、ソースドメインとターゲットドメインの両方に特徴バンクを構築し、入力を特徴バンクに従わせるための画像誘導特徴チューニング(IFT)を提案し、効果的に自己拡張的およびクロスドメイン的特徴をモデルに統合する。 このようにして、これらの2つの枝を相互に推進して、UDA用VLMの適応性を高めることができる。 我々は,提案したPDAが最先端の性能を達成することを示すために,3つのベンチマークで広範な実験を行った。 コードはhttps://github.com/baishuanghao/prompt-based-distribution-alignmentで入手できる。

関連論文リスト

• Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
  我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-13T17:40:15Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• Increasing Model Generalizability for Unsupervised Domain Adaptation [12.013345715187285]
  組込み空間におけるクラス間マージンの増大は, UDAアルゴリズムの開発に有効であることを示す。 提案手法を用いることで、4つの標準ベンチマーク UDA 画像分類データセットにおけるモデル一般化性が向上することが実証された。
  論文  参考訳（メタデータ） (2022-09-29T09:08:04Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• A New Bidirectional Unsupervised Domain Adaptation Segmentation Framework [27.13101555533594]
  異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。 本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-18T05:25:11Z)
• Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
  本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。 具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。 本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-23T06:29:09Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。