論文の概要: Disentangled Contrastive Image Translation for Nighttime Surveillance
- arxiv url: http://arxiv.org/abs/2307.05038v1
- Date: Tue, 11 Jul 2023 06:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 16:13:31.849072
- Title: Disentangled Contrastive Image Translation for Nighttime Surveillance
- Title(参考訳): 夜間監視のための不連続コントラスト画像翻訳
- Authors: Guanzhou Lan, Bin Zhao, Xuelong Li
- Abstract要約: 夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。
夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。
本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
- 参考スコア(独自算出の注目度): 87.03178320662592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nighttime surveillance suffers from degradation due to poor illumination and
arduous human annotations. It is challengable and remains a security risk at
night. Existing methods rely on multi-spectral images to perceive objects in
the dark, which are troubled by low resolution and color absence. We argue that
the ultimate solution for nighttime surveillance is night-to-day translation,
or Night2Day, which aims to translate a surveillance scene from nighttime to
the daytime while maintaining semantic consistency. To achieve this, this paper
presents a Disentangled Contrastive (DiCo) learning method. Specifically, to
address the poor and complex illumination in the nighttime scenes, we propose a
learnable physical prior, i.e., the color invariant, which provides a stable
perception of a highly dynamic night environment and can be incorporated into
the learning pipeline of neural networks. Targeting the surveillance scenes, we
develop a disentangled representation, which is an auxiliary pretext task that
separates surveillance scenes into the foreground and background with
contrastive learning. Such a strategy can extract the semantics without
supervision and boost our model to achieve instance-aware translation. Finally,
we incorporate all the modules above into generative adversarial networks and
achieve high-fidelity translation. This paper also contributes a new
surveillance dataset called NightSuR. It includes six scenes to support the
study on nighttime surveillance. This dataset collects nighttime images with
different properties of nighttime environments, such as flare and extreme
darkness. Extensive experiments demonstrate that our method outperforms
existing works significantly. The dataset and source code will be released on
GitHub soon.
- Abstract(参考訳): 夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
取り締まりが難しく、夜間はセキュリティ上のリスクが残る。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像に依存しており、低解像度とカラーの欠如が問題となっている。
夜間監視の究極の解決策は、夜間から昼までの監視シーンを、セマンティックな一貫性を維持しつつ、夜間から昼までの監視シーンを翻訳することを目的としている。
そこで本研究では,Distangled Contrastive (DiCo) 学習法を提案する。
具体的には,夜間場面における可哀相で複雑な照明に対処するために,高度にダイナミックな夜間環境の安定な知覚を提供し,ニューラルネットワークの学習パイプラインに組み込むことのできる,学習可能な物理前駆体,すなわち色不変性を提案する。
監視シーンをターゲットとして,監視シーンを前景と背景に分離し,コントラスト学習を行う補助的前提課題である,アンタングル表現を開発する。
このような戦略は、監視なしでセマンティクスを抽出し、インスタンス対応翻訳を達成するためにモデルを強化できます。
最後に、上記の全てのモジュールを生成的敵ネットワークに組み込んで高忠実度翻訳を行う。
本論文はNightSuRと呼ばれる新しい監視データセットにも貢献する。
夜間の監視研究を支援する6つのシーンが含まれている。
このデータセットは、フレアや極暗といった夜間環境の特性の異なる夜間画像を収集する。
大規模な実験により,本手法は既存手法よりも優れた性能を示した。
データセットとソースコードはもうすぐgithubでリリースされる。
関連論文リスト
- NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative
Learning for Dynamic Driving Scenes [52.904913650645796]
夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。
雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。
雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
論文 参考訳(メタデータ) (2024-02-28T09:02:33Z) - NocPlace: Nocturnal Visual Place Recognition Using Generative and
Inherited Knowledge Transfer [11.68565695465447]
視覚的位置認識(VPR)はコンピュータビジョンにおいて重要であり、既知の画像の広範なコレクションからクエリ画像に似たデータベースイメージを取得することを目的としている。
VPRは、単にナイトタイムドメインの問題ではなく、ナイト・ツー・デイのドメイン横断の問題に対処する必要がある。
我々は、大規模で多視点の夜間VPRデータセットを利用して、学習したグローバルディスクリプタに、ダズリングライトと極暗光に対するレジリエンスを埋め込むNocPlaceを提案する。
論文 参考訳(メタデータ) (2024-02-27T02:47:09Z) - Nighttime Thermal Infrared Image Colorization with Feedback-based Object
Appearance Learning [27.58748298687474]
フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的対向ネットワークを提案する。
FoalGANは、小さなオブジェクトの外観学習に有効であるが、意味保存とエッジ整合性の点で、他の画像翻訳方法よりも優れている。
論文 参考訳(メタデータ) (2023-10-24T09:59:55Z) - DCPT: Darkness Clue-Prompted Tracking in Nighttime UAVs [53.64523622330297]
既存の夜間無人航空機(UAV)トラッカーは"Enhance-then-Track"アーキテクチャに従っている。
この分離された拡張と追跡は、エンドツーエンドのトレーニング可能な視覚システムを構築するのに失敗する。
本研究では,夜間の強靭なUAV追跡を効率よく学習し,暗黒手がかりを生成できるDarkness Clue-Prompted Tracking (DCPT)を提案する。
論文 参考訳(メタデータ) (2023-09-19T09:59:08Z) - Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Daylight [54.23533023883659]
最先端のアクティビティ認識器は日中有効だが、暗闇では信用できない。
低光下でのアクティビティ認識を改善するために、未ラベルでタスク非関連なダークビデオを容易に取得できる擬似教師付き学習手法を提案する。
照明量によって音声や視覚的特徴の有用性が異なるため,暗黒適応型音声視覚認識装置を導入する。
論文 参考訳(メタデータ) (2022-12-05T06:14:23Z) - Boosting Night-time Scene Parsing with Learnable Frequency [53.05778451012621]
NTSP(Night-Time Scene Parsing)は多くの視覚アプリケーション、特に自律運転に必須である。
既存の手法のほとんどは日中シーン解析のために提案されている。
提案手法は,NightCity,NightCity+およびBDD100K-nightデータセットの最先端手法に対して良好に動作することを示す。
論文 参考訳(メタデータ) (2022-08-30T13:09:59Z) - Let There be Light: Improved Traffic Surveillance via Detail Preserving
Night-to-Day Transfer [19.33490492872067]
画像翻訳手法を用いて,物体検出時の精度低下を悪条件に緩和する枠組みを提案する。
本稿では,GAN(Generative Adversarial Networks)による詳細な汚職を緩和するために,Kernel Prediction Network (KPN) を用いた夜間・昼間の画像翻訳の改良手法を提案する。
論文 参考訳(メタデータ) (2021-05-11T13:18:50Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳(メタデータ) (2021-04-22T02:49:28Z) - Night-time Scene Parsing with a Large Real Dataset [67.11211537439152]
我々は,夜間シーン解析(NTSP)の問題に対処することを目指しており,主な課題が2つある。
夜間データの不足に対処するため、実夜間画像4,297枚からなる新しいラベル付きデータセット、NightCityを収集した。
また,NTSP問題に対処するための露出認識フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-15T18:11:34Z) - Translating multispectral imagery to nighttime imagery via conditional
generative adversarial networks [24.28488767429697]
本研究では,マルチスペクトル画像から夜間画像への変換における条件付きジェネレーティブ・アドバイサル・ネットワーク(cGAN)の可能性について検討する。
一般的なcGANフレームワークであるpix2pixが採用され、この翻訳を容易にするために修正された。
追加のソーシャルメディアデータにより、生成された夜間画像は、地上の真実の画像と非常によく似ている。
論文 参考訳(メタデータ) (2019-12-28T03:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。