論文の概要: DynAlign: Unsupervised Dynamic Taxonomy Alignment for Cross-Domain Segmentation
- arxiv url: http://arxiv.org/abs/2501.16410v1
- Date: Mon, 27 Jan 2025 18:57:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 16:41:39.414272
- Title: DynAlign: Unsupervised Dynamic Taxonomy Alignment for Cross-Domain Segmentation
- Title（参考訳）: DynAlign: クロスドメインセグメンテーションのための教師なし動的分類アライメント
- Authors: Han Sun, Rui Gong, Ismail Nejjar, Olga Fink,
- Abstract要約: 我々は、イメージレベルとラベルレベルのドメインギャップを橋渡しするために、UDAと基礎モデルを統合するフレームワークであるDynAlignを紹介します。
我々のアプローチは、事前のセマンティック知識を活用して、新しい、よりきめ細かな、あるいは異なる名前で呼ばれる可能性のある、ソースカテゴリとターゲットカテゴリを整合させる。
DynAlignは、手動のアノテーションを必要とせずに、新しいターゲットラベル空間で正確な予測を生成する。
- 参考スコア（独自算出の注目度）: 15.303659468173334
- License:
- Abstract: Current unsupervised domain adaptation (UDA) methods for semantic segmentation typically assume identical class labels between the source and target domains. This assumption ignores the label-level domain gap, which is common in real-world scenarios, thus limiting their ability to identify finer-grained or novel categories without requiring extensive manual annotation. A promising direction to address this limitation lies in recent advancements in foundation models, which exhibit strong generalization abilities due to their rich prior knowledge. However, these models often struggle with domain-specific nuances and underrepresented fine-grained categories. To address these challenges, we introduce DynAlign, a framework that integrates UDA with foundation models to bridge both the image-level and label-level domain gaps. Our approach leverages prior semantic knowledge to align source categories with target categories that can be novel, more fine-grained, or named differently (e.g., vehicle to {car, truck, bus}). Foundation models are then employed for precise segmentation and category reassignment. To further enhance accuracy, we propose a knowledge fusion approach that dynamically adapts to varying scene contexts. DynAlign generates accurate predictions in a new target label space without requiring any manual annotations, allowing seamless adaptation to new taxonomies through either model retraining or direct inference. Experiments on the street scene semantic segmentation benchmarks GTA to Mapillary Vistas and GTA to IDD validate the effectiveness of our approach, achieving a significant improvement over existing methods. Our code will be publicly available.
- Abstract（参考訳）: セマンティックセグメンテーションのための現在の教師なしドメイン適応(UDA)メソッドは、典型的にはソースとターゲットドメインの間で同じクラスラベルを仮定する。
この仮定は、実世界のシナリオでよく見られるラベルレベルのドメインギャップを無視し、広範囲のマニュアルアノテーションを必要とせずに、よりきめ細かいカテゴリや新しいカテゴリを識別する能力を制限する。
この制限に対処するための有望な方向は、基礎モデルの最近の進歩にある。
しかし、これらのモデルはドメイン固有のニュアンスに苦しむことが多く、細かな分類が不足している。
これらの課題に対処するために、イメージレベルとラベルレベルのドメインギャップを橋渡しするために、UDAと基礎モデルを統合するフレームワークであるDynAlignを紹介します。
当社のアプローチでは,従来のセマンティックな知識を活用して,新たなカテゴリ,よりきめ細かなカテゴリ,あるいは異なる名称(例えば,車両から車,トラック,バスなど)を対象カテゴリと整合させる。
ファンデーションモデルは、正確なセグメンテーションとカテゴリの再割り当てのために使用される。
精度をさらに高めるために,様々なシーンコンテキストに動的に適応する知識融合手法を提案する。
DynAlignは、手動のアノテーションを必要とせずに、新しいターゲットラベル空間で正確な予測を生成する。
GTAからMapillary Vistas、GTAからIDDまでのストリートシーンセマンティックセグメンテーションベンチマークの実験は、我々のアプローチの有効性を検証し、既存の手法よりも大幅に改善した。
私たちのコードは公開されます。
関連論文リスト
- Cross-Domain Semantic Segmentation on Inconsistent Taxonomy using VLMs [1.4182672294839365]
視覚言語モデル(CSI)を用いた不整合分類のクロスドメイン意味論
本稿では、視覚言語モデル(CSI)を用いた、一貫性のない分類に関するクロスドメインセマンティックという新しいアプローチを紹介する。
ソースターゲットクラスミスマッチの状況であっても、ドメイン適応セマンティックセマンティックセマンティクスを効果的に実行する。
論文 参考訳（メタデータ） (2024-08-05T06:32:20Z) - Pulling Target to Source: A New Perspective on Domain Adaptive Semantic Segmentation [80.1412989006262]
ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することを目的としています。
我々はT2S-DAを提案し、T2S-DAはドメイン適応のためのソースにターゲットを引っ張る形式として解釈する。
論文 参考訳（メタデータ） (2023-05-23T07:09:09Z) - Continual Unsupervised Domain Adaptation for Semantic Segmentation using
a Class-Specific Transfer [9.46677024179954]
セグメンテーションモデルは 目に見えない領域に一般化しません
2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。
合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
論文 参考訳（メタデータ） (2022-08-12T21:30:49Z) - Prototypical Contrast Adaptation for Domain Adaptive Semantic
Segmentation [52.63046674453461]
プロトタイプ・コントラスト適応(Prototypeal Contrast Adaptation, ProCA)は、教師なしドメイン適応セマンティックセマンティックセグメンテーションのための対照的な学習法である。
ProCAはクラス間の情報をクラスワイドプロトタイプに組み込み、適応のためにクラス中心の分散アライメントを採用する。
論文 参考訳（メタデータ） (2022-07-14T04:54:26Z) - TADA: Taxonomy Adaptive Domain Adaptation [143.68890984935726]
伝統的なドメイン適応は、限られた監督の下で新しいターゲットドメインにモデルを適応させるタスクに対処する。
より一般的な分類適応型ドメイン適応問題を導入し、両者の整合性を実現する。
ラベルレベルでは、ターゲット領域を拡大するための二元混合サンプリング戦略と、ラベル空間を統一・整合させるリラベリング手法を用いる。
論文 参考訳（メタデータ） (2021-09-10T11:58:56Z) - On Universal Black-Box Domain Adaptation [53.7611757926922]
実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。
ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。
対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
論文 参考訳（メタデータ） (2021-04-10T02:21:09Z) - Get away from Style: Category-Guided Domain Adaptation for Semantic
Segmentation [15.002381934551359]
非教師なしドメイン適応(UDA)は、ターゲットドメインの根本的真理なしに現実世界の問題に取り組むことでますます人気を増している。
本稿では,セマンティックセグメンテーションタスクにおけるUDAに着目した。
抽出した特徴のスタイル情報を類似空間に保持するスタイル非依存のコンテンツ特徴抽出機構を提案する。
次に,各カテゴリの擬似ラベルのバランスを保ちながら,自己教師付き学習のためのカテゴリ別擬似ラベルを選択するためのカテゴリ誘導しきい値機構を提案する。
論文 参考訳（メタデータ） (2021-03-29T10:00:50Z) - Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。
ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
論文 参考訳（メタデータ） (2021-03-20T12:44:13Z) - Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。
ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。
実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
論文 参考訳（メタデータ） (2020-07-30T01:33:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。