論文の概要: Exploring Sparse Visual Prompt for Cross-domain Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2303.09792v1
• Date: Fri, 17 Mar 2023 06:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-20 15:31:55.325941
• Title: Exploring Sparse Visual Prompt for Cross-domain Semantic Segmentation
• Title（参考訳）: クロスドメインセマンティクスセグメンテーションのためのスパースビジュアルプロンプトの検討
• Authors: Senqiao Yang, Jiarui Wu, Jiaming Liu, Xiaoqi Li, Qizhe Zhang, Mingjie Pan, Mingjie Pan, Shanghang Zhang
• Abstract要約: 本稿では,セマンティックセグメンテーションにおける領域シフト問題に対処するために,Sparse Visual Domain Prompts (SVDP) アプローチを提案する。 SVDPをよりよく適用するために,データ分散距離が大きい領域において,複数のSVDPを適応的に分散するDomain Prompt Placement (DPP)法を提案する。 実験の結果,提案手法はソースフリー適応における最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 18.275681646168977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Domain Prompts (VDP) have shown promising potential in addressing visual cross-domain problems. Existing methods adopt VDP in classification domain adaptation (DA), such as tuning image-level or feature-level prompts for target domains. Since the previous dense prompts are opaque and mask out continuous spatial details in the prompt regions, it will suffer from inaccurate contextual information extraction and insufficient domain-specific feature transferring when dealing with the dense prediction (i.e. semantic segmentation) DA problems. Therefore, we propose a novel Sparse Visual Domain Prompts (SVDP) approach tailored for addressing domain shift problems in semantic segmentation, which holds minimal discrete trainable parameters (e.g. 10\%) of the prompt and reserves more spatial information. To better apply SVDP, we propose Domain Prompt Placement (DPP) method to adaptively distribute several SVDP on regions with large data distribution distance based on uncertainty guidance. It aims to extract more local domain-specific knowledge and realizes efficient cross-domain learning. Furthermore, we design a Domain Prompt Updating (DPU) method to optimize prompt parameters differently for each target domain sample with different degrees of domain shift, which helps SVDP to better fit target domain knowledge. Experiments, which are conducted on the widely-used benchmarks (Cityscapes, Foggy-Cityscapes, and ACDC), show that our proposed method achieves state-of-the-art performances on the source-free adaptations, including six Test Time Adaptation and one Continual Test-Time Adaptation in semantic segmentation.
• Abstract（参考訳）: Visual Domain Prompts (VDP)は、視覚的クロスドメイン問題に対処する有望な可能性を示している。 既存の手法では、ターゲットドメインに対する画像レベルや特徴レベルプロンプトのチューニングなど、分類領域適応(DA)にVDPを採用している。 従来の密接なプロンプトは不透明であり、プロンプト領域における連続的な空間的詳細を隠蔽するため、密接な予測(セマンティックセグメンテーション)DA問題を扱う際に、不正確な文脈情報抽出とドメイン固有の特徴伝達に悩まされる。 そこで,sparse visual domain prompts (svdp) アプローチでは,プロンプトの最小の離散学習可能なパラメータ(例えば10\%)を保持し,より空間的な情報を格納する意味セグメンテーションにおける領域シフト問題に対処する。 SVDPをよりよく適用するために、不確実性ガイダンスに基づいて複数のデータ分布距離を持つ領域に適応的にSVDPを配布するDomain Prompt Placement (DPP)法を提案する。 よりローカルなドメイン固有の知識を抽出し、効率的なクロスドメイン学習を実現する。 さらに、ドメインシフトの度合いが異なる各ドメインサンプルに対して異なるプロンプトパラメータを最適化するために、DPU(Domain Prompt Updating)メソッドを設計する。 広く利用されているベンチマーク(Cityscapes, Foggy-Cityscapes, ACDC)を用いて実験を行った結果,提案手法は6つのテスト時間適応と1つのセマンティックセマンティックセマンティックセマンティクスにおける連続テスト時間適応を含む,ソースフリー適応における最先端性能を実現する。

関連論文リスト

• OT-VP: Optimal Transport-guided Visual Prompting for Test-Time Adaptation [8.425690424016986]
  視覚変換器(ViT)は、表現の学習において顕著な能力を示したが、未知の領域に適用した場合、その性能は損なわれる。 我々のアプローチであるOT-VP(Optimal Transport-guided Test-Time Visual Prompting)は、テスト時の迅速な学習を活用して、ターゲットドメインとソースドメインの整合を図り、これらの問題に対処する。 OT-VPは、学習したプロンプトトークンが4つしかなく、3つのスタイリスティックデータセットで最先端のパフォーマンスを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T18:30:03Z)
• Domain-Controlled Prompt Learning [49.45309818782329]
  既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。 特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。 本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-30T02:59:49Z)
• Prompting Diffusion Representations for Cross-Domain Semantic Segmentation [101.04326113360342]
  拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。 本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
  論文  参考訳（メタデータ） (2023-07-05T09:28:25Z)
• PM-DETR: Domain Adaptive Prompt Memory for Object Detection with Transformers [25.812325027602252]
  トランスフォーマーベースの検出器(DETR)は、エンドツーエンドのオブジェクト検出に顕著な性能を示した。 DETRを異なるデータ分散に転送すると、パフォーマンスが大幅に低下する可能性がある。 本稿では,検出変圧器を異なる分布に適応させるための階層型Prompt Domain Memory (PDM)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T12:02:24Z)
• Explicit Visual Prompting for Universal Foreground Segmentations [55.51869354956533]
  我々は,タスク固有の設計を伴わずに,複数の前景セグメンテーションタスクを統一したフレームワークを提案する。 我々は、広く使われている事前学習からインスピレーションを得て、NLPのチューニングプロトコルを高速化する。 本手法は,事前学習したモデルを凍結し,いくつかのパラメータを用いてタスク固有の知識を学習する。
  論文  参考訳（メタデータ） (2023-05-29T11:05:01Z)
• Explicit Visual Prompting for Low-Level Structure Segmentations [55.51869354956533]
  我々はExplicit Visual Prompting(EVP)という新しいビジュアルプロンプトモデルを提案する。 EVPは、同じ量のチューナブルパラメータの下で、他のパラメータ効率のチューニングプロトコルを著しく上回る。 EVPはまた、様々な低レベル構造セグメンテーションタスクにおける最先端のパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2023-03-20T06:01:53Z)
• Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation [14.473807945791132]
  Continual Test-Time Adaptation (CTTA) は、ソースデータにアクセスすることなく、ラベルなしのターゲットドメインを継続的に変更することを目的としている。 そこで本論文では,NLPにおける素早い学習によって動機づけられた画像レベルの視覚領域プロンプトを,ソースモデルパラメータを凍結させながら学習することを提案する。
  論文  参考訳（メタデータ） (2022-12-08T08:56:02Z)
• P{\O}DA: Prompt-driven Zero-shot Domain Adaptation [27.524962843495366]
  我々は,対象領域の自然言語,すなわちプロンプトの一般的な記述のみを用いて,ソースドメイン上で訓練されたモデルを適用する。 本稿では,これらのプロンプト駆動による拡張が,セマンティックセグメンテーションのためのゼロショットドメイン適応の実行に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-06T18:59:58Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。