論文の概要: Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning

• arxiv url: http://arxiv.org/abs/2310.15688v1
• Date: Tue, 24 Oct 2023 09:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 19:19:25.456294
• Title: Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning
• Title（参考訳）: フィードバックに基づく物体外観学習による夜間熱赤外画像のカラー化
• Authors: Fu-Ya Luo, Shu-Lin Liu, Yi-Jun Cao, Kai-Fu Yang, Chang-Yong Xie, Yong Liu, Yong-Jie Li
• Abstract要約: フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的対向ネットワークを提案する。 FoalGANは、小さなオブジェクトの外観学習に有効であるが、意味保存とエッジ整合性の点で、他の画像翻訳方法よりも優れている。
• 参考スコア（独自算出の注目度）: 27.58748298687474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stable imaging in adverse environments (e.g., total darkness) makes thermal infrared (TIR) cameras a prevalent option for night scene perception. However, the low contrast and lack of chromaticity of TIR images are detrimental to human interpretation and subsequent deployment of RGB-based vision algorithms. Therefore, it makes sense to colorize the nighttime TIR images by translating them into the corresponding daytime color images (NTIR2DC). Despite the impressive progress made in the NTIR2DC task, how to improve the translation performance of small object classes is under-explored. To address this problem, we propose a generative adversarial network incorporating feedback-based object appearance learning (FoalGAN). Specifically, an occlusion-aware mixup module and corresponding appearance consistency loss are proposed to reduce the context dependence of object translation. As a representative example of small objects in nighttime street scenes, we illustrate how to enhance the realism of traffic light by designing a traffic light appearance loss. To further improve the appearance learning of small objects, we devise a dual feedback learning strategy to selectively adjust the learning frequency of different samples. In addition, we provide pixel-level annotation for a subset of the Brno dataset, which can facilitate the research of NTIR image understanding under multiple weather conditions. Extensive experiments illustrate that the proposed FoalGAN is not only effective for appearance learning of small objects, but also outperforms other image translation methods in terms of semantic preservation and edge consistency for the NTIR2DC task.
• Abstract（参考訳）: 悪環境(例えば全暗黒)における安定した撮像は、熱赤外カメラ(TIR)を夜景知覚の一般的な選択肢にしている。 しかしながら、TIR画像の低コントラストと色度欠如は、人間の解釈とその後のRGBベースの視覚アルゴリズムの展開に有害である。 したがって、それを対応する昼間色画像(NTIR2DC)に翻訳することで、夜間TIR画像を色づけすることは理にかなっている。 NTIR2DCタスクの目覚ましい進歩にもかかわらず、小さなオブジェクトクラスの翻訳性能をいかに向上させるかは未調査である。 この問題に対処するために,フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的敵ネットワークを提案する。 具体的には、オブジェクト翻訳の文脈依存性を低減するために、オクルージョン対応ミックスアップモジュールとそれに対応する外観整合性損失を提案する。 夜間の街路場面における小型物体の代表的な例として, 交通灯の外観損失をデザインすることにより, 交通灯のリアリズムを高める方法を示す。 小型オブジェクトの出現学習をさらに改善するため,2つのフィードバック学習戦略を考案し,異なるサンプルの学習頻度を選択的に調整する。 さらに,brnoデータセットのサブセットに対してピクセルレベルのアノテーションを提供し,複数の気象条件下でのntir画像理解の研究を容易にする。 広範な実験により,提案手法は小物体の出現学習に有効であるだけでなく,ntir2dcタスクにおける意味保存とエッジ一貫性の観点から,他の画像翻訳手法よりも優れていることが示された。

関連論文リスト

• You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
  低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。 水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。 輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
  論文  参考訳（メタデータ） (2024-02-08T16:47:43Z)
• Disentangled Contrastive Image Translation for Nighttime Surveillance [87.03178320662592]
  夜間監視は、照明の悪さと厳しい人間のアノテーションによる劣化に悩まされる。 既存の手法では、暗黒の物体を知覚するためにマルチスペクトル画像が使われており、解像度の低さと色の不在に悩まされている。 夜間監視の究極の解決策は、夜から昼までの翻訳(Night2Day)である、と私たちは主張する。 本論文は、夜間監視研究を支援する6つのシーンを含む、NightSuRと呼ばれる新しい監視データセットに貢献する。
  論文  参考訳（メタデータ） (2023-07-11T06:40:27Z)
• Enhancing Low-Light Images Using Infrared-Encoded Images [81.8710581927427]
  従来の芸術は、主にピクセルワイド・ロスを用いて可視光スペクトルで捉えた低照度画像に焦点を当てていた。 我々は,赤外線カットオフフィルタを除去することにより,低照度環境下で撮影された画像の可視性を高める新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T08:29:19Z)
• StawGAN: Structural-Aware Generative Adversarial Networks for Infrared Image Translation [7.098759778181621]
  本稿では,単に色を着色することなく,ターゲット生成の品質向上に焦点をあてた新しいモデルを提案する。 我々は、RGB-IRペア画像を含むDroneVeichleデータセットの空中画像上で、我々のモデルを検証した。
  論文  参考訳（メタデータ） (2023-05-18T11:22:33Z)
• Edge-guided Multi-domain RGB-to-TIR image Translation for Training Vision Tasks with Challenging Labels [12.701191873813583]
  注釈付き熱赤外(TIR)画像データセットの不足は、TIR画像ベースのディープラーニングネットワークを妨害し、RGBと同等の性能を持つ。 本稿では,エッジ保存に着目したマルチドメインRGBからTIRへの変換モデルを提案する。 我々は、終点誤差を平均56.5%改善した深部TIR画像に基づく光フロー推定と物体検出の教師あり学習を可能にし、最高の物体検出mAPは23.9%とした。
  論文  参考訳（メタデータ） (2023-01-30T06:44:38Z)
• Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization [14.239472686466325]
  メモリ誘導型cOllaboRative AtteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。 MornGANはヒトのアナログ推論機構にインスパイアされている。 セマンティックな保存とエッジの整合性の観点から、他の画像から画像への変換方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-05T03:04:04Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
  オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
  論文  参考訳（メタデータ） (2021-07-30T19:24:07Z)
• Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention [14.527765677864913]
  toP-down attEntion and gRadient aLignment based GAN(PearlGAN)を提案する。 トップダウンガイドアテンションモジュールと精巧なアテンションロスは、翻訳中の意味的エンコーディングの曖昧さを減らすために最初に設計されている。 さらに、FLIRおよびKAISTデータセットのサブセット上で画素レベルのアノテーションを行い、複数の翻訳手法のセマンティックな保存性能を評価する。
  論文  参考訳（メタデータ） (2021-04-29T14:35:25Z)
• Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
  2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。 カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
  論文  参考訳（メタデータ） (2021-03-19T04:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。