論文の概要: Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2404.03799v1
• Date: Thu, 4 Apr 2024 20:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:25:49.822930
• Title: Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation
• Title（参考訳）: 言語誘導型インスタンス・ドメイン適応型パノプティブ・セグメンテーション(Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation)
• Authors: Elham Amin Mansour, Ozan Unal, Suman Saha, Benjamin Bejar, Luc Van Gool,
• Abstract要約: 汎視的ドメイン適応の鍵となる課題は、ラベル付きソースとラベルなしターゲットドメインの間のドメインギャップを減らすことである。 我々は、新しいクロスドメイン混合戦略IMixによるインスタンスレベル適応の導入に重点を置いている。 LIDAPSと呼ばれる2つのメカニズムを組み込んだエンド・ツー・エンド・エンド・モデルを提案する。
• 参考スコア（独自算出の注目度）: 44.501770535446624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing relevance of panoptic segmentation is tied to the advancements in autonomous driving and AR/VR applications. However, the deployment of such models has been limited due to the expensive nature of dense data annotation, giving rise to unsupervised domain adaptation (UDA). A key challenge in panoptic UDA is reducing the domain gap between a labeled source and an unlabeled target domain while harmonizing the subtasks of semantic and instance segmentation to limit catastrophic interference. While considerable progress has been achieved, existing approaches mainly focus on the adaptation of semantic segmentation. In this work, we focus on incorporating instance-level adaptation via a novel instance-aware cross-domain mixing strategy IMix. IMix significantly enhances the panoptic quality by improving instance segmentation performance. Specifically, we propose inserting high-confidence predicted instances from the target domain onto source images, retaining the exhaustiveness of the resulting pseudo-labels while reducing the injected confirmation bias. Nevertheless, such an enhancement comes at the cost of degraded semantic performance, attributed to catastrophic forgetting. To mitigate this issue, we regularize our semantic branch by employing CLIP-based domain alignment (CDA), exploiting the domain-robustness of natural language prompts. Finally, we present an end-to-end model incorporating these two mechanisms called LIDAPS, achieving state-of-the-art results on all popular panoptic UDA benchmarks.
• Abstract（参考訳）: 汎視的セグメンテーションの関連性は、自律運転とAR/VR応用の進歩と結びついている。 しかし、そのようなモデルの展開は、高密度データアノテーションの高価な性質のために制限されており、教師なしドメイン適応(UDA)が生まれている。 汎視的UDAにおける重要な課題は、破滅的な干渉を制限するためにセマンティックとインスタンスセグメンテーションのサブタスクを調和させながら、ラベル付きソースとラベルなしターゲットドメインの間のドメインギャップを減らすことである。 かなりの進歩が達成されているが、既存のアプローチは主にセマンティックセグメンテーションの適応に焦点を当てている。 本研究では、新しいインスタンス対応クロスドメイン混合戦略IMixによるインスタンスレベル適応の導入に焦点をあてる。 IMixは、インスタンスセグメンテーション性能を向上させることにより、パノプティクスの品質を大幅に向上させる。 具体的には、ターゲット領域からの高信頼度予測インスタンスをソースイメージに挿入し、擬似ラベルの徹底性を保ちながら、注入された確認バイアスを低減することを提案する。 それにもかかわらず、このような拡張は、破滅的な忘れ物による、劣化したセマンティックパフォーマンスのコストが伴う。 この問題を緩和するために、我々はCLIPベースのドメインアライメント(CDA)を用いてセマンティックブランチを規則化し、自然言語プロンプトのドメイン・ロバスト性を活用する。 最後に、LIDAPSと呼ばれる2つのメカニズムを組み込んだエンドツーエンドモデルを提案する。

関連論文リスト

• Generative Domain Adaptation for Face Anti-Spoofing [38.12738183385737]
  教師なしドメイン適応(UDA)に基づくアンチスプーフィングアプローチは、ターゲットシナリオに対する有望なパフォーマンスのために注目を集めている。 既存のUDA FASメソッドは、通常、セマンティックな高レベルの機能の分布を整列することで、トレーニングされたモデルをターゲットドメインに適合させる。 対象データをモデルに直接適合させ、画像翻訳により対象データをソースドメインスタイルにスタイリングし、さらに、訓練済みのソースモデルにスタイリングされたデータを入力して分類する、UDA FASの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-07-20T16:24:57Z)
• Boosting Cross-Domain Speech Recognition with Self-Supervision [35.01508881708751]
  自動音声認識(ASR)のクロスドメイン性能は,トレーニングとテストのミスマッチにより著しく損なわれる可能性がある。 従来, 自己監督学習 (SSL) や擬似ラベル学習 (PL) は, 未ラベルデータの自己監督を利用してUDAに有効であることが示された。 この研究は、事前学習および微調整のパラダイムにおいて、ラベルなしデータを完全に活用する体系的なUDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-20T14:02:53Z)
• Domain Adaptation for Object Detection using SE Adaptors and Center Loss [0.0]
  本稿では,高速RCNNに基づく教師なしドメイン適応手法を導入し,ドメインシフトによる性能低下を防止する。 また、SEアダプタと呼ばれる圧縮励起機構を利用して、ドメインの注意を向上するアダプティブレイヤのファミリーも導入する。 最後に、インスタンスと画像レベルの表現に中心損失を組み込んで、クラス内分散を改善する。
  論文  参考訳（メタデータ） (2022-05-25T17:18:31Z)
• Amplitude Spectrum Transformation for Open Compound Domain Adaptive Semantic Segmentation [62.68759523116924]
  オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。 我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T05:40:34Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• More Separable and Easier to Segment: A Cluster Alignment Method for Cross-Domain Semantic Segmentation [41.81843755299211]
  上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。 具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。 GTA5とSynthiaで行った実験は,本法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-05-07T10:24:18Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation [51.93711960601973]
  クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。 プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。 クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-03-15T15:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。