論文の概要: LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2211.11870v1
- Date: Mon, 21 Nov 2022 21:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 17:43:48.947602
- Title: LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation
- Title（参考訳）: loopda: 夜間のセマンティクスセグメンテーションを適応させるための自己ループの構築
- Authors: Fengyi Shen, Zador Pataki, Akhil Gurram, Ziyuan Liu, He Wang, Alois
Knoll
- Abstract要約: ドメイン適応型夜間セマンティックセマンティックセグメンテーションのためのLoopDAを提案する。
我々のモデルは、意味的セグメンテーションのためのダークチューリッヒとナイトタイム・ドライビングのデータセットの先行手法よりも優れている。
- 参考スコア（独自算出の注目度）: 5.961294477200831
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Due to the lack of training labels and the difficulty of annotating, dealing
with adverse driving conditions such as nighttime has posed a huge challenge to
the perception system of autonomous vehicles. Therefore, adapting knowledge
from a labelled daytime domain to an unlabelled nighttime domain has been
widely researched. In addition to labelled daytime datasets, existing nighttime
datasets usually provide nighttime images with corresponding daytime reference
images captured at nearby locations for reference. The key challenge is to
minimize the performance gap between the two domains. In this paper, we propose
LoopDA for domain adaptive nighttime semantic segmentation. It consists of
self-loops that result in reconstructing the input data using predicted
semantic maps, by rendering them into the encoded features. In a warm-up
training stage, the self-loops comprise of an inner-loop and an outer-loop,
which are responsible for intra-domain refinement and inter-domain alignment,
respectively. To reduce the impact of day-night pose shifts, in the later
self-training stage, we propose a co-teaching pipeline that involves an offline
pseudo-supervision signal and an online reference-guided signal `DNA'
(Day-Night Agreement), bringing substantial benefits to enhance nighttime
segmentation. Our model outperforms prior methods on Dark Zurich and Nighttime
Driving datasets for semantic segmentation. Code and pretrained models are
available at https://github.com/fy-vision/LoopDA.
- Abstract（参考訳）: トレーニングラベルの欠如とアノテートが難しいため、夜間などの運転条件の悪さに対処することは、自動運転車の認識システムにとって大きな課題となっている。
そのため、ラベル付き夜間ドメインからラベルなし夜間ドメインへの知識の適用が広く研究されている。
昼行データセットのラベル付けに加えて、既存の夜間データセットは、通常、近くの場所で撮影された昼行参照画像に対応する夜間画像を提供する。
主な課題は、2つのドメイン間のパフォーマンスギャップを最小限にすることである。
本稿では,ドメイン適応型夜間セマンティックセマンティックセグメンテーションのためのLoopDAを提案する。
予測したセマンティックマップを使って入力データを再構成し、エンコードされた特徴にレンダリングする自己ループで構成される。
ウォームアップトレーニング段階では、自己ループは内ループと外ループで構成され、それぞれドメイン内精製とドメイン間アライメントを担っている。
昼夜のポーズシフトの影響を軽減するため、後段の自己学習では、オフラインの擬似スーパービジョン信号とオンライン参照誘導信号「dna」(昼夜合意)を含む共同学習パイプラインを提案し、夜間のセグメンテーション強化に多大なメリットをもたらす。
提案モデルは,ダークチューリッヒと夜間運転データセットを用いたセマンティクスセグメンテーションの先行手法よりも優れている。
コードと事前訓練されたモデルはhttps://github.com/fy-vision/LoopDA.comで入手できる。
関連論文リスト
- Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。
具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。
提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2024-08-25T13:59:31Z) - PIG: Prompt Images Guidance for Night-Time Scene Parsing [48.35991796324741]
非教師なし領域適応(UDA)が夜景の研究の主流となっている。
そこで我々はNFNet(Night-Focused Network)を提案する。
NightCity、NightCity+、Dark Zurich、ACDCの4つのナイトタイムデータセットで実験を行いました。
論文 参考訳（メタデータ） (2024-06-15T07:06:19Z) - Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。
この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。
我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-17T18:50:15Z) - GPS-GLASS: Learning Nighttime Semantic Segmentation Using Daytime Video
and GPS data [15.430918080412518]
特に夜間セマンティックセグメンテーションは、注釈付き夜間画像の欠如により困難である。
夜間セマンティックセグメンテーションのための新しいGPSベースのトレーニングフレームワークを提案する。
実験により,複数の夜間セマンティックセグメンテーションデータセットにおける提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-07-27T05:05:04Z) - Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation
in Nighttime Semantic Segmentation [17.874336775904272]
CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。
特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。
Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
論文 参考訳（メタデータ） (2022-05-02T12:42:04Z) - Unsupervised Domain Adaptation for Nighttime Aerial Tracking [27.595253191781904]
本研究は、夜間航空追跡のための新しい教師なしドメイン適応フレームワークを開発する。
ユニークなオブジェクト発見アプローチが提供され、生の夜間追跡ビデオからトレーニングパッチを生成する。
Transformerの昼夜の特徴判別器では、昼夜追跡モデルは夜間追跡のために逆向きに訓練される。
論文 参考訳（メタデータ） (2022-03-20T12:35:09Z) - Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation [83.97914777313136]
自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。
本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。
本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-19T17:39:47Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳（メタデータ） (2021-04-22T02:49:28Z) - Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation
for Semantic Nighttime Image Segmentation [107.33492779588641]
夜間アノテーションを使わずに,日毎のセマンティックセマンティックセマンティクスモデルを適用するためのカリキュラムフレームワークを開発した。
また、夜間画像のセマンティクスの実質的不確実性に対処するための新しい評価フレームワークを設計する。
論文 参考訳（メタデータ） (2020-05-28T16:54:38Z) - Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。
夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。
また,NTSP問題に対処するための露出認識フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-15T18:11:34Z) - HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with
Thermal Images [26.749261270690425]
現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。
日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。
RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
論文 参考訳（メタデータ） (2020-03-10T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。