論文の概要: Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using VLMs

• arxiv url: http://arxiv.org/abs/2408.02261v1
• Date: Mon, 5 Aug 2024 06:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:26:02.848449
• Title: Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using VLMs
• Title（参考訳）: VLMを用いた不整合分類におけるドメイン間セマンティックセマンティックセマンティックセマンティックセマンティックセマンティック
• Authors: Jeongkee Lim, Yusung Kim,
• Abstract要約: 視覚言語モデル(CSI)を用いた不整合分類のクロスドメイン意味論 本稿では、視覚言語モデル(CSI)を用いた、一貫性のない分類に関するクロスドメインセマンティックという新しいアプローチを紹介する。 ソースターゲットクラスミスマッチの状況であっても、ドメイン適応セマンティックセマンティックセマンティクスを効果的に実行する。
• 参考スコア（独自算出の注目度）: 1.4182672294839365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of semantic segmentation in Unsupervised Domain Adaptation (UDA) emerges not only from domain shifts between source and target images but also from discrepancies in class taxonomies across domains. Traditional UDA research assumes consistent taxonomy between the source and target domains, thereby limiting their ability to recognize and adapt to the taxonomy of the target domain. This paper introduces a novel approach, Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using Vision Language Models (CSI), which effectively performs domain-adaptive semantic segmentation even in situations of source-target class mismatches. CSI leverages the semantic generalization potential of Visual Language Models (VLMs) to create synergy with previous UDA methods. It leverages segment reasoning obtained through traditional UDA methods, combined with the rich semantic knowledge embedded in VLMs, to relabel new classes in the target domain. This approach allows for effective adaptation to extended taxonomies without requiring any ground truth label for the target domain. Our method has shown to be effective across various benchmarks in situations of inconsistent taxonomy settings (coarse-to-fine taxonomy and open taxonomy) and demonstrates consistent synergy effects when integrated with previous state-of-the-art UDA methods. The implementation is available at http://github.com/jkee58/CSI.
• Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)におけるセマンティックセグメンテーションの課題は、ソースイメージとターゲットイメージのドメインシフトだけでなく、ドメイン間のクラス分類の相違からも生じる。 従来のUDA研究は、ソースとターゲットドメイン間の一貫した分類を前提としており、それによってターゲットドメインの分類に適応する能力を制限している。 本稿では,視覚言語モデル(CSI)を用いた非一貫性分類に関するクロスドメインセマンティックセマンティックセマンティックセマンティックセマンティックセマンティクス(クロスドメインセマンティクス)を提案する。 CSIは、Visual Language Models (VLM) のセマンティック・ジェネリゼーション・ポテンシャルを利用して、以前の UDA メソッドとシナジーを生成する。 従来の UDA メソッドと VLM に埋め込まれたリッチなセマンティック知識を組み合わせたセグメント推論を利用して、ターゲットドメインの新しいクラスを緩和する。 このアプローチは、ターゲットドメインに対して基礎的な真理ラベルを必要とせずに、拡張された分類学に効果的な適応を可能にする。 本手法は,無矛盾な分類設定(粗大な分類とオープンな分類)の状況において,様々なベンチマークにおいて有効であることが確認されており,従来のUDA手法と統合した場合に一貫した相乗効果を示す。 実装はhttp://github.com/jkee58/CSIで公開されている。

関連論文リスト

• Taxonomy-Structured Domain Adaptation [21.432546714330023]
  我々は、ネストされた階層的類似構造を持つ領域を形式化する分類構造ドメインによる一般化に取り組む。 我々は,古典的敵対的枠組みを基盤として,新たな分類学者を導入し,その分類情報を維持するために,敵対的差別者と競合する。
  論文  参考訳（メタデータ） (2023-06-13T16:04:14Z)
• Continual Unsupervised Domain Adaptation for Semantic Segmentation using a Class-Specific Transfer [9.46677024179954]
  セグメンテーションモデルは 目に見えない領域に一般化しません 2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。 合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
  論文  参考訳（メタデータ） (2022-08-12T21:30:49Z)
• Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation [52.63046674453461]
  プロトタイプ・コントラスト適応(Prototypeal Contrast Adaptation, ProCA)は、教師なしドメイン適応セマンティックセマンティックセグメンテーションのための対照的な学習法である。 ProCAはクラス間の情報をクラスワイドプロトタイプに組み込み、適応のためにクラス中心の分散アライメントを採用する。
  論文  参考訳（メタデータ） (2022-07-14T04:54:26Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• TADA: Taxonomy Adaptive Domain Adaptation [143.68890984935726]
  伝統的なドメイン適応は、限られた監督の下で新しいターゲットドメインにモデルを適応させるタスクに対処する。 より一般的な分類適応型ドメイン適応問題を導入し、両者の整合性を実現する。 ラベルレベルでは、ターゲット領域を拡大するための二元混合サンプリング戦略と、ラベル空間を統一・整合させるリラベリング手法を用いる。
  論文  参考訳（メタデータ） (2021-09-10T11:58:56Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)
• Class-Incremental Domain Adaptation [56.72064953133832]
  私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。 既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。 提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-08-04T07:55:03Z)
• Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
  本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。 ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。 実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
  論文  参考訳（メタデータ） (2020-07-30T01:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。