論文の概要: Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2111.10339v1
- Date: Fri, 19 Nov 2021 17:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-22 16:00:08.527529
- Title: Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation
- Title(参考訳): bi-mix: 領域適応型夜間意味セグメンテーションのための双方向混合
- Authors: Guanglei Yang, Zhun Zhong, Hao Tang, Mingli Ding, Nicu Sebe, Elisa
Ricci
- Abstract要約: 自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。
本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。
本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
- 参考スコア(独自算出の注目度): 83.97914777313136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In autonomous driving, learning a segmentation model that can adapt to
various environmental conditions is crucial. In particular, copying with severe
illumination changes is an impelling need, as models trained on daylight data
will perform poorly at nighttime. In this paper, we study the problem of Domain
Adaptive Nighttime Semantic Segmentation (DANSS), which aims to learn a
discriminative nighttime model with a labeled daytime dataset and an unlabeled
dataset, including coarsely aligned day-night image pairs. To this end, we
propose a novel Bidirectional Mixing (Bi-Mix) framework for DANSS, which can
contribute to both image translation and segmentation adaptation processes.
Specifically, in the image translation stage, Bi-Mix leverages the knowledge of
day-night image pairs to improve the quality of nighttime image relighting. On
the other hand, in the segmentation adaptation stage, Bi-Mix effectively
bridges the distribution gap between day and night domains for adapting the
model to the night domain. In both processes, Bi-Mix simply operates by mixing
two samples without extra hyper-parameters, thus it is easy to implement.
Extensive experiments on Dark Zurich and Nighttime Driving datasets demonstrate
the advantage of the proposed Bi-Mix and show that our approach obtains
state-of-the-art performance in DANSS. Our code is available at
https://github.com/ygjwd12345/BiMix.
- Abstract(参考訳): 自律運転では,様々な環境条件に適応可能なセグメンテーションモデルを学ぶことが重要である。
特に、夜間に夜間データでトレーニングされたモデルの性能が悪くなるため、深刻な照明変更を伴うコピーは不必要である。
本稿では,昼行ラベル付きデータセットとラベルなしデータセットを用いた識別夜間モデルの学習を目的とした,ドメイン適応夜間意味セグメンテーション(danss)の問題について検討する。
そこで本研究では,画像翻訳とセグメンテーション適応プロセスの両方に寄与できる双方向混合(bi-mix)フレームワークを提案する。
特に、画像翻訳の段階では、bi-mixは昼夜画像ペアの知識を活用して、夜間画像のリライトの品質を向上させる。
一方、セグメンテーション適応段階において、bi-mixは、夜間領域にモデルを適用するために昼夜領域間の分配ギャップを効果的に橋渡しする。
どちらのプロセスでも、Bi-Mixは2つのサンプルを余分なハイパーパラメータなしで混合するだけで動作し、実装が容易である。
ダークチューリッヒとナイトタイム駆動データセットに関する広範囲な実験は,提案するバイミックスの利点を実証し,本手法がダンスにおける最先端性能を得ることを示す。
私たちのコードはhttps://github.com/ygjwd12345/bimixで利用可能です。
関連論文リスト
- Bracketing is All You Need: Unifying Image Restoration and Enhancement
Tasks with Multi-Exposure Images [54.52482239188794]
本稿では,ブラケット写真を利用して修復作業と強化作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:14:35Z) - Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。
この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。
我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-17T18:50:15Z) - BiCro: Noisy Correspondence Rectification for Multi-modality Data via
Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。
3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
論文 参考訳(メタデータ) (2023-03-22T09:33:50Z) - Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation
in Nighttime Semantic Segmentation [17.874336775904272]
CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。
特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。
Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2022-05-02T12:42:04Z) - NightLab: A Dual-level Architecture with Hardness Detection for
Segmentation at Night [6.666707251631694]
夜間セグメンテーションフレームワークであるNightLabを提案する。
画像と局所の2段階のモデルであり、各レベルは光適応とセグメンテーションモジュールで構成されている。
NightCityとBDD100Kデータセットの実験では、並行メソッドと比較して、NightLabはステート・オブ・ザ・アート(SoTA)のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2022-04-12T05:50:22Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳(メタデータ) (2021-06-08T06:13:11Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳(メタデータ) (2021-04-22T02:49:28Z) - 6D Camera Relocalization in Ambiguous Scenes via Continuous Multimodal
Inference [67.70859730448473]
あいまいさと不確かさを捉えるマルチモーダルカメラ再ローカライズフレームワークを提案する。
我々は、複数のカメラのポーズ仮説を予測し、それぞれの予測の不確実性も予測する。
あいまいな環境下でのカメラローカライゼーション研究を促進するための新しいデータセットを提案する。
論文 参考訳(メタデータ) (2020-04-09T20:55:06Z) - HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with
Thermal Images [26.749261270690425]
現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。
日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。
RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
論文 参考訳(メタデータ) (2020-03-10T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。