論文の概要: Thermal Infrared Image Colorization for Nighttime Driving Scenes with
Top-Down Guided Attention
- arxiv url: http://arxiv.org/abs/2104.14374v1
- Date: Thu, 29 Apr 2021 14:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-30 12:59:24.833436
- Title: Thermal Infrared Image Colorization for Nighttime Driving Scenes with
Top-Down Guided Attention
- Title（参考訳）: トップダウン誘導による夜間運転シーンの熱赤外画像カラー化
- Authors: Fuya Luo, Yunhan Li, Guang Zeng, Peng Peng, Gang Wang, and Yongjie Li
- Abstract要約: toP-down attEntion and gRadient aLignment based GAN(PearlGAN)を提案する。
トップダウンガイドアテンションモジュールと精巧なアテンションロスは、翻訳中の意味的エンコーディングの曖昧さを減らすために最初に設計されている。
さらに、FLIRおよびKAISTデータセットのサブセット上で画素レベルのアノテーションを行い、複数の翻訳手法のセマンティックな保存性能を評価する。
- 参考スコア（独自算出の注目度）: 14.527765677864913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benefitting from insensitivity to light and high penetration of foggy
environments, infrared cameras are widely used for sensing in nighttime traffic
scenes. However, the low contrast and lack of chromaticity of thermal infrared
(TIR) images hinder the human interpretation and portability of high-level
computer vision algorithms. Colorization to translate a nighttime TIR image
into a daytime color (NTIR2DC) image may be a promising way to facilitate
nighttime scene perception. Despite recent impressive advances in image
translation, semantic encoding entanglement and geometric distortion in the
NTIR2DC task remain under-addressed. Hence, we propose a toP-down attEntion And
gRadient aLignment based GAN, referred to as PearlGAN. A top-down guided
attention module and an elaborate attentional loss are first designed to reduce
the semantic encoding ambiguity during translation. Then, a structured gradient
alignment loss is introduced to encourage edge consistency between the
translated and input images. In addition, pixel-level annotation is carried out
on a subset of FLIR and KAIST datasets to evaluate the semantic preservation
performance of multiple translation methods. Furthermore, a new metric is
devised to evaluate the geometric consistency in the translation process.
Extensive experiments demonstrate the superiority of the proposed PearlGAN over
other image translation methods for the NTIR2DC task. The source code and
labeled segmentation masks will be available at
\url{https://github.com/FuyaLuo/PearlGAN/}.
- Abstract（参考訳）: 光に敏感で、霧の多い環境の浸透度が高いため、赤外線カメラは夜間の交通シーンの感知に広く利用されている。
しかし、熱赤外(TIR)画像の低コントラストと彩度の欠如は、高レベルのコンピュータビジョンアルゴリズムの人間の解釈と移植性を妨げている。
夜間TIR画像から昼間色(NTIR2DC)画像への色付けは、夜間シーンの認識を容易にするための有望な方法である。
最近の画像翻訳の進歩にもかかわらず、NTIR2DCタスクにおける意味的エンタングルメントと幾何学的歪みは未解決のままである。
そこで我々は、toP-down attEntion and gRadient aLignment based GAN(PearlGAN)を提案する。
トップダウンガイドアテンションモジュールと精巧なアテンションロスは、翻訳中の意味的エンコーディングの曖昧さを減らすために最初に設計されている。
そして、変換画像と入力画像とのエッジ一貫性を促進するために、構造化勾配アライメント損失を導入する。
さらに、FLIRおよびKAISTデータセットのサブセット上で画素レベルのアノテーションを行い、複数の翻訳手法のセマンティックな保存性能を評価する。
さらに, 翻訳過程における幾何学的一貫性を評価するために, 新たな計量が考案された。
NTIR2DCタスクの他の画像翻訳方法よりも、提案したPearlGANの方が優れていることを示す。
ソースコードとラベル付きセグメンテーションマスクは \url{https://github.com/FuyaLuo/PearlGAN/} で入手できる。
関連論文リスト
- Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。
具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。
提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
論文 参考訳（メタデータ） (2024-08-25T13:59:31Z) - You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳（メタデータ） (2024-02-08T16:47:43Z) - Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB
Spectral Domain Translation [6.580484964018551]
我々は、NIRソース画像をグレースケールターゲットドメインに変換するドメイン翻訳モジュールを導入する。
プログレッシブトレーニング戦略を取り入れることで、両方のタスク領域からの統計的および意味的な知識を効率的に整合させる。
実験により、我々のMPFNetはNIR-to-RGBスペクトル領域変換タスクにおいて最先端の2.55dBより優れていることが示された。
論文 参考訳（メタデータ） (2023-12-26T13:07:45Z) - Nighttime Thermal Infrared Image Colorization with Feedback-based Object
Appearance Learning [27.58748298687474]
フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的対向ネットワークを提案する。
FoalGANは、小さなオブジェクトの外観学習に有効であるが、意味保存とエッジ整合性の点で、他の画像翻訳方法よりも優れている。
論文 参考訳（メタデータ） (2023-10-24T09:59:55Z) - Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。
既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。
夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。
本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
論文 参考訳（メタデータ） (2023-07-11T06:40:27Z) - Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。
我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-09T08:29:19Z) - StawGAN: Structural-Aware Generative Adversarial Networks for Infrared
Image Translation [7.098759778181621]
本稿では,単に色を着色することなく,ターゲット生成の品質向上に焦点をあてた新しいモデルを提案する。
我々は、RGB-IRペア画像を含むDroneVeichleデータセットの空中画像上で、我々のモデルを検証した。
論文 参考訳（メタデータ） (2023-05-18T11:22:33Z) - Edge-guided Multi-domain RGB-to-TIR image Translation for Training
Vision Tasks with Challenging Labels [12.701191873813583]
注釈付き熱赤外(TIR)画像データセットの不足は、TIR画像ベースのディープラーニングネットワークを妨害し、RGBと同等の性能を持つ。
本稿では,エッジ保存に着目したマルチドメインRGBからTIRへの変換モデルを提案する。
我々は、終点誤差を平均56.5%改善した深部TIR画像に基づく光フロー推定と物体検出の教師あり学習を可能にし、最高の物体検出mAPは23.9%とした。
論文 参考訳（メタデータ） (2023-01-30T06:44:38Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳（メタデータ） (2022-10-02T14:57:23Z) - Memory-Guided Collaborative Attention for Nighttime Thermal Infrared
Image Colorization [14.239472686466325]
メモリ誘導型cOllaboRative AtteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。
MornGANはヒトのアナログ推論機構にインスパイアされている。
セマンティックな保存とエッジの整合性の観点から、他の画像から画像への変換方法よりも大幅に優れています。
論文 参考訳（メタデータ） (2022-08-05T03:04:04Z) - Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。
カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。
LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文 参考訳（メタデータ） (2021-03-19T04:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。