論文の概要: VBLC: Visibility Boosting and Logit-Constraint Learning for Domain
Adaptive Semantic Segmentation under Adverse Conditions
- arxiv url: http://arxiv.org/abs/2211.12256v1
- Date: Tue, 22 Nov 2022 13:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:20:27.417685
- Title: VBLC: Visibility Boosting and Logit-Constraint Learning for Domain
Adaptive Semantic Segmentation under Adverse Conditions
- Title（参考訳）: VBLC: 逆条件下でのドメイン適応セマンティックセマンティックセグメンテーションのための可視性向上とロジット制約学習
- Authors: Mingjia Li, Binhui Xie, Shuang Li, Chi Harold Liu, Xinjing Cheng
- Abstract要約: 正常な視覚条件で訓練されたモデルを用いて、悪条件下でのドメインを対象とするモデルを一般化することは、実用システムにおいて要求される。
本稿では,VBLC(Visibility Boosting and Logit-Constraint Learning)を提案する。
VBLCは、基準画像を取り除き、同時に有害な条件の混合を解消する可能性を探る。
- 参考スコア（独自算出の注目度）: 31.992504022101215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalizing models trained on normal visual conditions to target domains
under adverse conditions is demanding in the practical systems. One prevalent
solution is to bridge the domain gap between clear- and adverse-condition
images to make satisfactory prediction on the target. However, previous methods
often reckon on additional reference images of the same scenes taken from
normal conditions, which are quite tough to collect in reality. Furthermore,
most of them mainly focus on individual adverse condition such as nighttime or
foggy, weakening the model versatility when encountering other adverse
weathers. To overcome the above limitations, we propose a novel framework,
Visibility Boosting and Logit-Constraint learning (VBLC), tailored for superior
normal-to-adverse adaptation. VBLC explores the potential of getting rid of
reference images and resolving the mixture of adverse conditions
simultaneously. In detail, we first propose the visibility boost module to
dynamically improve target images via certain priors in the image level. Then,
we figure out the overconfident drawback in the conventional cross-entropy loss
for self-training method and devise the logit-constraint learning, which
enforces a constraint on logit outputs during training to mitigate this pain
point. To the best of our knowledge, this is a new perspective for tackling
such a challenging task. Extensive experiments on two normal-to-adverse domain
adaptation benchmarks, i.e., Cityscapes -> ACDC and Cityscapes ->
FoggyCityscapes + RainCityscapes, verify the effectiveness of VBLC, where it
establishes the new state of the art. Code is available at
https://github.com/BIT-DA/VBLC.
- Abstract（参考訳）: 正常な視覚条件で訓練されたモデルを、悪条件下でターゲットドメインに一般化することは、実用システムにおいて要求される。
一般的な解決策の1つは、クリアな状態と悪い状態のイメージの間のドメインギャップを橋渡しして、ターゲットに対して十分な予測を行うことである。
しかし、従来の手法では、通常条件から撮影した同じシーンの追加参照画像を参照することが多く、実際の収集は非常に困難である。
さらに、主に夜間や霧などの個別の悪条件に焦点を当て、他の悪天候に遭遇する際のモデルの汎用性を弱めている。
上記の制限を克服するため、我々は、より優れた正規対逆適応に適した新しいフレームワーク、VBLC(Visibility Boosting and Logit-Constraint Learning)を提案する。
VBLCは、基準画像を取り除き、同時に有害な条件の混合を解消する可能性を探る。
具体的には,まず,対象画像を画像レベルでの事前設定によって動的に改善するための可視性ブーストモジュールを提案する。
そして,従来の自己学習法におけるクロスエントロピー損失の過度な欠点を解明し,この痛点を緩和するためにトレーニング中にロジット出力に制約を課すロジット制約学習を考案する。
私たちの知る限りでは、これはこのような困難なタスクに取り組むための新しい視点です。
acdc と cityscapes -> foggycityscapes + raincityscapes という2つの正規対逆ドメイン適応ベンチマークに関する広範囲な実験により、vblc の有効性が検証され、新たな芸術状態が確立された。
コードはhttps://github.com/BIT-DA/VBLCで入手できる。
関連論文リスト
- Locality Alignment Improves Vision-Language Models [55.275235524659905]
近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。
局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。
局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-10-14T21:01:01Z) - Test-Time Training for Semantic Segmentation with Output Contrastive
Loss [12.535720010867538]
ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。
本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。
本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
論文 参考訳（メタデータ） (2023-11-14T03:13:47Z) - Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。
我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
論文 参考訳（メタデータ） (2023-08-18T17:59:01Z) - Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。
この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。
我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-17T18:50:15Z) - Condition-Invariant Semantic Segmentation [77.10045325743644]
我々は現在最先端のドメイン適応アーキテクチャ上で条件不変セマンティック(CISS)を実装している。
本手法は,通常の都市景観$to$ACDCベンチマークにおいて,2番目に高い性能を実現する。
CISSはBDD100K-nightやACDC-nightのようなトレーニング中に見えない領域によく一般化している。
論文 参考訳（メタデータ） (2023-05-27T03:05:07Z) - Refign: Align and Refine for Adaptation of Semantic Segmentation to
Adverse Conditions [78.71745819446176]
Refignは、ドメイン間の通信を利用する自己学習ベースのUDAメソッドへの汎用的な拡張である。
Refign は,(1) 不確実性を認識した高密度マッチングネットワークを用いて,正常条件画像と対応する悪条件画像とを整列させ,(2) 適応ラベル補正機構を用いて正常予測で悪条件予測を精査する。
このアプローチでは、追加のトレーニングパラメータや、トレーニングのみの計算オーバーヘッドの最小化は導入されず、任意の自己学習ベースのUDAメソッドを改善するためにドロップイン拡張として使用することができる。
論文 参考訳（メタデータ） (2022-07-14T11:30:38Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳（メタデータ） (2022-04-21T14:40:32Z) - PixMatch: Unsupervised Domain Adaptation via Pixelwise Consistency
Training [4.336877104987131]
教師なしドメイン適応はセマンティックセグメンテーションの有望なテクニックである。
対象領域整合性訓練の概念に基づく非監視領域適応のための新しいフレームワークを提案する。
私たちのアプローチはシンプルで、実装が簡単で、トレーニング時にメモリ効率が向上します。
論文 参考訳（メタデータ） (2021-05-17T19:36:28Z) - Domain-invariant Similarity Activation Map Contrastive Learning for
Retrieval-based Long-term Visual Localization [30.203072945001136]
本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。
そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。
CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。
我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
論文 参考訳（メタデータ） (2020-09-16T14:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。