論文の概要: Boosting Night-time Scene Parsing with Learnable Frequency
- arxiv url: http://arxiv.org/abs/2208.14241v1
- Date: Tue, 30 Aug 2022 13:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-31 13:06:58.263016
- Title: Boosting Night-time Scene Parsing with Learnable Frequency
- Title(参考訳): 学習周波数による夜間の場面解析
- Authors: Zhifeng Xie, Sen Wang, Ke Xu, Zhizhong Zhang, Xin Tan, Yuan Xie,
Lizhuang Ma
- Abstract要約: NTSP(Night-Time Scene Parsing)は多くの視覚アプリケーション、特に自律運転に必須である。
既存の手法のほとんどは日中シーン解析のために提案されている。
提案手法は,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して良好に動作することを示す。
- 参考スコア(独自算出の注目度): 53.05778451012621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Night-Time Scene Parsing (NTSP) is essential to many vision applications,
especially for autonomous driving. Most of the existing methods are proposed
for day-time scene parsing. They rely on modeling pixel intensity-based spatial
contextual cues under even illumination. Hence, these methods do not perform
well in night-time scenes as such spatial contextual cues are buried in the
over-/under-exposed regions in night-time scenes. In this paper, we first
conduct an image frequency-based statistical experiment to interpret the
day-time and night-time scene discrepancies. We find that image frequency
distributions differ significantly between day-time and night-time scenes, and
understanding such frequency distributions is critical to NTSP problem. Based
on this, we propose to exploit the image frequency distributions for night-time
scene parsing. First, we propose a Learnable Frequency Encoder (LFE) to model
the relationship between different frequency coefficients to measure all
frequency components dynamically. Second, we propose a Spatial Frequency Fusion
module (SFF) that fuses both spatial and frequency information to guide the
extraction of spatial context features. Extensive experiments show that our
method performs favorably against the state-of-the-art methods on the
NightCity, NightCity+ and BDD100K-night datasets. In addition, we demonstrate
that our method can be applied to existing day-time scene parsing methods and
boost their performance on night-time scenes.
- Abstract(参考訳): 夜間シーン解析(ntsp)は多くの視覚アプリケーション、特に自動運転には不可欠である。
既存の手法のほとんどは日中シーン解析のために提案されている。
ピクセル強度に基づく空間的手がかりを、照明下でもモデル化する。
そのため、夜間の場面では空間的文脈的手がかりが過度に露出した領域に埋もれてしまうなど、夜間の場面ではうまく機能しない。
本稿では,まず,昼と夜の場面の相違を解析するために,画像周波数に基づく統計的実験を行う。
映像の周波数分布は昼間と夜間の場面で大きく異なり,その頻度分布を理解することはNTSP問題にとって重要である。
そこで本研究では,夜間シーン解析における画像周波数分布の活用を提案する。
まず、異なる周波数係数間の関係をモデル化し、全ての周波数成分を動的に測定する学習可能な周波数エンコーダ(LFE)を提案する。
第2に,空間情報と周波数情報を融合して空間的文脈特徴の抽出を誘導する空間周波数融合モジュール(SFF)を提案する。
実験の結果,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して,本手法が良好に動作することがわかった。
また,本手法を既存の昼間シーン解析手法に適用し,夜間シーンにおける性能を向上させることを実証した。
関連論文リスト
- NocPlace: Nocturnal Visual Place Recognition Using Generative and
Inherited Knowledge Transfer [11.68565695465447]
視覚的位置認識(VPR)はコンピュータビジョンにおいて重要であり、既知の画像の広範なコレクションからクエリ画像に似たデータベースイメージを取得することを目的としている。
VPRは、単にナイトタイムドメインの問題ではなく、ナイト・ツー・デイのドメイン横断の問題に対処する必要がある。
我々は、大規模で多視点の夜間VPRデータセットを利用して、学習したグローバルディスクリプタに、ダズリングライトと極暗光に対するレジリエンスを埋め込むNocPlaceを提案する。
論文 参考訳(メタデータ) (2024-02-27T02:47:09Z) - Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。
夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。
本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
論文 参考訳(メタデータ) (2023-07-11T06:40:27Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳(メタデータ) (2022-07-05T09:27:53Z) - Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。
我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。
ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文 参考訳(メタデータ) (2022-05-28T04:36:13Z) - NightLab: A Dual-level Architecture with Hardness Detection for
Segmentation at Night [6.666707251631694]
夜間セグメンテーションフレームワークであるNightLabを提案する。
画像と局所の2段階のモデルであり、各レベルは光適応とセグメンテーションモジュールで構成されている。
NightCityとBDD100Kデータセットの実験では、並行メソッドと比較して、NightLabはステート・オブ・ザ・アート(SoTA)のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2022-04-12T05:50:22Z) - Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation [83.97914777313136]
自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。
本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。
本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-19T17:39:47Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳(メタデータ) (2021-04-22T02:49:28Z) - Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。
夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。
また,NTSP問題に対処するための露出認識フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-15T18:11:34Z) - HeatNet: Bridging the Day-Night Domain Gap in Semantic Segmentation with
Thermal Images [26.749261270690425]
現実の運転シナリオでは、夜間照明や光沢のような環境条件が悪くなる。
日中夜間に適用可能な多モーダルセマンティックセマンティックセマンティクスモデルを提案する。
RGB画像以外にも、サーマルイメージを活用して、ネットワークをはるかに堅牢にしています。
論文 参考訳(メタデータ) (2020-03-10T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。