論文の概要: Leveraging Scale-Invariance and Uncertainity with Self-Supervised Domain
Adaptation for Semantic Segmentation of Foggy Scenes
- arxiv url: http://arxiv.org/abs/2201.02588v1
- Date: Fri, 7 Jan 2022 18:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-10 14:24:28.321229
- Title: Leveraging Scale-Invariance and Uncertainity with Self-Supervised Domain
Adaptation for Semantic Segmentation of Foggy Scenes
- Title（参考訳）: 群集シーンのセマンティックセグメンテーションのための自己スーパービジョンドメイン適応によるスケール不変性と不確かさの活用
- Authors: Javed Iqbal, Rehan Hafiz, Mohsen Ali
- Abstract要約: FogAdaptは、密集した霧のシーンに対するセマンティックセグメンテーションのドメイン適応のための新しいアプローチである。
FogAdaptは、霧のイメージのセマンティックセグメンテーションにおいて、現在の最先端を著しく上回る。
- 参考スコア（独自算出の注目度）: 4.033107207078282
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents FogAdapt, a novel approach for domain adaptation of
semantic segmentation for dense foggy scenes. Although significant research has
been directed to reduce the domain shift in semantic segmentation, adaptation
to scenes with adverse weather conditions remains an open question. Large
variations in the visibility of the scene due to weather conditions, such as
fog, smog, and haze, exacerbate the domain shift, thus making unsupervised
adaptation in such scenarios challenging. We propose a self-entropy and
multi-scale information augmented self-supervised domain adaptation method
(FogAdapt) to minimize the domain shift in foggy scenes segmentation. Supported
by the empirical evidence that an increase in fog density results in high
self-entropy for segmentation probabilities, we introduce a self-entropy based
loss function to guide the adaptation method. Furthermore, inferences obtained
at different image scales are combined and weighted by the uncertainty to
generate scale-invariant pseudo-labels for the target domain. These
scale-invariant pseudo-labels are robust to visibility and scale variations. We
evaluate the proposed model on real clear-weather scenes to real foggy scenes
adaptation and synthetic non-foggy images to real foggy scenes adaptation
scenarios. Our experiments demonstrate that FogAdapt significantly outperforms
the current state-of-the-art in semantic segmentation of foggy images.
Specifically, by considering the standard settings compared to state-of-the-art
(SOTA) methods, FogAdapt gains 3.8% on Foggy Zurich, 6.0% on Foggy
Driving-dense, and 3.6% on Foggy Driving in mIoU when adapted from Cityscapes
to Foggy Zurich.
- Abstract（参考訳）: 本稿では,密集した霧のシーンに対するセマンティックセグメンテーションのドメイン適応手法であるFogAdaptを提案する。
セマンティックセグメンテーションの領域シフトを減らすために重要な研究がなされているが、悪天候の場面への適応は未解決の課題である。
霧、スモッグ、ヘイズなどの気象条件によるシーンの視認性の大きな変化は、領域シフトを悪化させ、そのようなシナリオにおける教師なし適応を困難にしている。
フォギーシーンのセグメンテーションにおける領域シフトを最小限に抑えるために,自己エントロピーとマルチスケール情報拡張自己教師付きドメイン適応法(fogadapt)を提案する。
霧密度の増加がセグメンテーション確率に対して高い自己エントロピーをもたらすという実証的証拠を裏付ける形で,適応法を導くために自己エントロピーに基づく損失関数を導入する。
さらに、異なる画像スケールで得られる推測を不確実性によって合成重み付けし、対象領域に対してスケール不変な擬似ラベルを生成する。
これらのスケール不変な擬似ラベルは可視性とスケールのバリエーションにロバストである。
提案手法は,実際の霧のシーン適応と,実際の霧のシーン適応シナリオに対する合成非霧のシーン適応に対して評価される。
実験の結果,フォグアダプタは霧画像のセマンティックセグメンテーションにおいて,現在の最先端技術よりも優れていた。
具体的には、最先端のsota(state-of-the-art)法と比較して、fogadaptはfoggy zurichでは3.8%、foggy driving-denseでは6.0%、miouではfoggy drivingで3.6%、cityscapesからfoggy zurichに適応した。
関連論文リスト
- Data Augmentation via Latent Diffusion for Saliency Prediction [67.88936624546076]
残差予測モデルはラベル付きデータの限られた多様性と量によって制約される。
本研究では,実世界のシーンの複雑さと変動性を保ちながら,自然画像の編集を行うディープ・サリエンシ・予測のための新しいデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2024-09-11T14:36:24Z) - D2SL: Decouple Defogging and Semantic Learning for Foggy Domain-Adaptive Segmentation [0.8261182037130406]
そこで我々は,D2SLと呼ばれる新しい学習フレームワークD2SLを提案する。
本稿では,デファッギングタスクとセグメンテーションタスクの接続を確立するためのドメイン一貫性転送戦略を提案する。
実際の霧画像から霧の先行を十分に活用することにより、霧の消火効果を改善するために、実際の霧の移動戦略を設計する。
論文 参考訳（メタデータ） (2024-04-07T04:55:58Z) - Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - Domain Adaptation based Object Detection for Autonomous Driving in Foggy and Rainy Weather [44.711384869027775]
ドメインギャップのため、晴れた天候下で訓練された検出モデルは、霧や雨の条件下ではうまく機能しない可能性がある。
霧や雨の天候下での領域ギャップを埋め、オブジェクト検出の性能を向上させるため、ドメイン適応型オブジェクト検出のための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T23:06:47Z) - Domain Adaptive Object Detection for Autonomous Driving under Foggy
Weather [25.964194141706923]
本稿では,霧気候下での自律走行のための新しい領域適応型物体検出フレームワークを提案する。
本手法は画像レベルの適応とオブジェクトレベルの適応を両立させ,画像スタイルとオブジェクトの外観における領域差を低減させる。
評価実験の結果,提案手法の有効性と精度が示された。
論文 参考訳（メタデータ） (2022-10-27T05:09:10Z) - Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label
Diffusion [51.11295961195151]
運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。
局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。
本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
論文 参考訳（メタデータ） (2022-06-10T05:16:50Z) - FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation [14.932318540666548]
本稿では,霧に対して頑健なセマンティックセグメンテーションモデルを学習するための新しい手法を提案する。
その鍵となる考え方は、画像の霧条件をそのスタイルとして考慮し、異なる霧条件で画像間のギャップを閉じることである。
本手法は,3つの実際の霧画像データセットにおいて,従来よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-04-04T15:33:42Z) - Both Style and Fog Matter: Cumulative Domain Adaptation for Semantic
Foggy Scene Understanding [63.99301797430936]
我々は,2要素(スタイルとフォグ)を累積的に適応させる新しいパイプラインを提案する。
具体的には、スタイルファクタとフォグファクタを分離し、異なる領域のイメージから二重要素を分離する統一的なフレームワークを考案する。
提案手法は,3つのベンチマーク上での最先端性能を実現し,雨や雪の場面における一般化能力を示す。
論文 参考訳（メタデータ） (2021-12-01T13:21:20Z) - PIT: Position-Invariant Transform for Cross-FoV Domain Adaptation [53.428312630479816]
フィールド・オブ・ビュー(FoV)ギャップは、ソースとターゲットドメイン間の顕著なインスタンスの出現差を誘導する。
本研究では,異なる領域における画像の整合性を改善するために,textbfPosition-Invariant Transform (PIT)を提案する。
論文 参考訳（メタデータ） (2021-08-16T15:16:47Z) - Domain-invariant Similarity Activation Map Contrastive Learning for
Retrieval-based Long-term Visual Localization [30.203072945001136]
本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。
そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。
CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。
我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
論文 参考訳（メタデータ） (2020-09-16T14:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。