論文の概要: Boosting Night-time Scene Parsing with Learnable Frequency
- arxiv url: http://arxiv.org/abs/2208.14241v1
- Date: Tue, 30 Aug 2022 13:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 13:06:58.263016
- Title: Boosting Night-time Scene Parsing with Learnable Frequency
- Title（参考訳）: 学習周波数による夜間の場面解析
- Authors: Zhifeng Xie, Sen Wang, Ke Xu, Zhizhong Zhang, Xin Tan, Yuan Xie,
Lizhuang Ma
- Abstract要約: NTSP(Night-Time Scene Parsing)は多くの視覚アプリケーション、特に自律運転に必須である。
既存の手法のほとんどは日中シーン解析のために提案されている。
提案手法は,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して良好に動作することを示す。
- 参考スコア（独自算出の注目度）: 53.05778451012621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Night-Time Scene Parsing (NTSP) is essential to many vision applications,
especially for autonomous driving. Most of the existing methods are proposed
for day-time scene parsing. They rely on modeling pixel intensity-based spatial
contextual cues under even illumination. Hence, these methods do not perform
well in night-time scenes as such spatial contextual cues are buried in the
over-/under-exposed regions in night-time scenes. In this paper, we first
conduct an image frequency-based statistical experiment to interpret the
day-time and night-time scene discrepancies. We find that image frequency
distributions differ significantly between day-time and night-time scenes, and
understanding such frequency distributions is critical to NTSP problem. Based
on this, we propose to exploit the image frequency distributions for night-time
scene parsing. First, we propose a Learnable Frequency Encoder (LFE) to model
the relationship between different frequency coefficients to measure all
frequency components dynamically. Second, we propose a Spatial Frequency Fusion
module (SFF) that fuses both spatial and frequency information to guide the
extraction of spatial context features. Extensive experiments show that our
method performs favorably against the state-of-the-art methods on the
NightCity, NightCity+ and BDD100K-night datasets. In addition, we demonstrate
that our method can be applied to existing day-time scene parsing methods and
boost their performance on night-time scenes.
- Abstract（参考訳）: 夜間シーン解析(ntsp)は多くの視覚アプリケーション、特に自動運転には不可欠である。
既存の手法のほとんどは日中シーン解析のために提案されている。
ピクセル強度に基づく空間的手がかりを、照明下でもモデル化する。
そのため、夜間の場面では空間的文脈的手がかりが過度に露出した領域に埋もれてしまうなど、夜間の場面ではうまく機能しない。
本稿では,まず,昼と夜の場面の相違を解析するために,画像周波数に基づく統計的実験を行う。
映像の周波数分布は昼間と夜間の場面で大きく異なり,その頻度分布を理解することはNTSP問題にとって重要である。
そこで本研究では,夜間シーン解析における画像周波数分布の活用を提案する。
まず、異なる周波数係数間の関係をモデル化し、全ての周波数成分を動的に測定する学習可能な周波数エンコーダ(LFE)を提案する。
第2に,空間情報と周波数情報を融合して空間的文脈特徴の抽出を誘導する空間周波数融合モジュール(SFF)を提案する。
実験の結果,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して,本手法が良好に動作することがわかった。
また,本手法を既存の昼間シーン解析手法に適用し,夜間シーンにおける性能を向上させることを実証した。
関連論文リスト
- Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。
具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。
提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2024-08-25T13:59:31Z) - Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception [53.631644875171595]
夜間のシーンは、学習したモデルで意味的に知覚し、人間に注釈を付けるのは難しい。
本手法は,1枚の画像の夜間シミュレーションを3Dで行う方法として,サンオフ,ライトオン (SOLO) と命名された。
夜間画像の視覚的品質と光リアリズムは,拡散モデルを含む競合するアプローチよりも優れているだけでなく,従来の画像は,昼夜適応における意味的夜間セグメンテーションに有益であることが証明されている。
論文 参考訳（メタデータ） (2024-07-29T18:00:09Z) - A Semi-supervised Nighttime Dehazing Baseline with Spatial-Frequency Aware and Realistic Brightness Constraint [19.723367790947684]
実世界における夜間脱ハージングのための半教師付きモデルを提案する。
まず、空間的注意と周波数スペクトルフィルタリングを、空間周波数領域情報相互作用モジュールとして実装する。
第2に、半教師付きトレーニングプロセスにおける擬似ラベルに基づくリトレーニング戦略と局所窓ベースの輝度損失は、迷路や光を抑制するように設計されている。
論文 参考訳（メタデータ） (2024-03-27T13:27:02Z) - Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。
夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。
本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
論文 参考訳（メタデータ） (2023-07-11T06:40:27Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳（メタデータ） (2022-07-05T09:27:53Z) - NightLab: A Dual-level Architecture with Hardness Detection for
Segmentation at Night [6.666707251631694]
夜間セグメンテーションフレームワークであるNightLabを提案する。
画像と局所の2段階のモデルであり、各レベルは光適応とセグメンテーションモジュールで構成されている。
NightCityとBDD100Kデータセットの実験では、並行メソッドと比較して、NightLabはステート・オブ・ザ・アート(SoTA)のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2022-04-12T05:50:22Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳（メタデータ） (2021-04-22T02:49:28Z) - Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。
夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。
また,NTSP問題に対処するための露出認識フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-15T18:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。