論文の概要: Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization

• arxiv url: http://arxiv.org/abs/2208.02960v1
• Date: Fri, 5 Aug 2022 03:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:34:50.815256
• Title: Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization
• Title（参考訳）: 夜間熱赤外画像色化のための記憶誘導協調注意
• Authors: Fu-Ya Luo, Yi-Jun Cao, Kai-Fu Yang, and Yong-Jie Li
• Abstract要約: メモリ誘導型cOllaboRative AtteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。 MornGANはヒトのアナログ推論機構にインスパイアされている。 セマンティックな保存とエッジの整合性の観点から、他の画像から画像への変換方法よりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 14.239472686466325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nighttime thermal infrared (NTIR) image colorization, also known as translation of NTIR images into daytime color images (NTIR2DC), is a promising research direction to facilitate nighttime scene perception for humans and intelligent systems under unfavorable conditions (e.g., complete darkness). However, previously developed methods have poor colorization performance for small sample classes. Moreover, reducing the high confidence noise in pseudo-labels and addressing the problem of image gradient disappearance during translation are still under-explored, and keeping edges from being distorted during translation is also challenging. To address the aforementioned issues, we propose a novel learning framework called Memory-guided cOllaboRative atteNtion Generative Adversarial Network (MornGAN), which is inspired by the analogical reasoning mechanisms of humans. Specifically, a memory-guided sample selection strategy and adaptive collaborative attention loss are devised to enhance the semantic preservation of small sample categories. In addition, we propose an online semantic distillation module to mine and refine the pseudo-labels of NTIR images. Further, conditional gradient repair loss is introduced for reducing edge distortion during translation. Extensive experiments on the NTIR2DC task show that the proposed MornGAN significantly outperforms other image-to-image translation methods in terms of semantic preservation and edge consistency, which helps improve the object detection accuracy remarkably.
• Abstract（参考訳）: NTIR(Nighttime thermal Infrared)画像のカラー化(NTIR)は、NTIRイメージを昼間のカラー画像(NTIR2DC)に変換することで、不都合な条件下での人間やインテリジェントシステムに対する夜間シーンの認識を容易にする、有望な研究方向である。 しかし, 従来開発された手法では, 小クラスでは色付け性能が低かった。 さらに、擬似ラベルの高信頼ノイズの低減や、翻訳中の画像勾配の消失問題への対処も未検討であり、翻訳中にエッジが歪むことを防ぐことも困難である。 上記の課題に対処するため,記憶誘導型cOllaboRative atteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。 具体的には、記憶誘導型サンプル選択戦略と適応的協調的注意損失を考案し、小さなサンプルカテゴリのセマンティックな保存を強化する。 さらに,NTIR画像の擬似ラベルをマイニングし,精錬するためのオンラインセマンティック蒸留モジュールを提案する。 さらに、翻訳中のエッジ歪みを低減するために条件勾配補修損失を導入する。 NTIR2DCタスクにおける広範囲な実験により,提案したMornGANは,意味的保存とエッジ整合性の観点から他の画像間翻訳法よりも優れており,オブジェクト検出精度が著しく向上することが示された。

関連論文リスト

• Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
  低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。 RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。 また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
  論文  参考訳（メタデータ） (2024-09-11T06:12:03Z)
• Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization [4.349838917565205]
  画素レベルの統計モーメントを推定するために設計されたDense Normalization層を導入する。 このアプローチは、局所色と色調のコントラストを同時に保存しながら、ティリングアーティファクトを効果的に減少させる。 我々の研究は、未ペア画像から画像への翻訳の範囲内で任意の解像度の画像を扱うための将来の探索の道を開く。
  論文  参考訳（メタデータ） (2024-07-05T04:14:50Z)
• You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
  低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。 水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。 輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
  論文  参考訳（メタデータ） (2024-02-08T16:47:43Z)
• Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning [27.58748298687474]
  フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的対向ネットワークを提案する。 FoalGANは、小さなオブジェクトの外観学習に有効であるが、意味保存とエッジ整合性の点で、他の画像翻訳方法よりも優れている。
  論文  参考訳（メタデータ） (2023-10-24T09:59:55Z)
• Reverse Engineering of Imperceptible Adversarial Image Perturbations [43.87341855153572]
  REDの問題を形式化し、REDのアプローチ設計に不可欠な原則のセットを特定します。 そこで我々は,CDD-RED と呼ばれる新しいクラス識別型Denoising RED フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-26T19:52:40Z)
• Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
  本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。 対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。 低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
  論文  参考訳（メタデータ） (2021-12-24T17:00:54Z)
• LTT-GAN: Looking Through Turbulence by Inverting GANs [86.25869403782957]
  本稿では,よく訓練されたGANによってカプセル化された視覚的事前情報を利用した最初の乱流緩和手法を提案する。 視覚的先行性に基づき、周期的な文脈距離で復元された画像の同一性を維持することを学ぶことを提案する。 本手法は, 回復した結果の視覚的品質と顔認証精度の両方において, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-12-04T16:42:13Z)
• Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention [14.527765677864913]
  toP-down attEntion and gRadient aLignment based GAN(PearlGAN)を提案する。 トップダウンガイドアテンションモジュールと精巧なアテンションロスは、翻訳中の意味的エンコーディングの曖昧さを減らすために最初に設計されている。 さらに、FLIRおよびKAISTデータセットのサブセット上で画素レベルのアノテーションを行い、複数の翻訳手法のセマンティックな保存性能を評価する。
  論文  参考訳（メタデータ） (2021-04-29T14:35:25Z)
• Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
  2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。 カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
  論文  参考訳（メタデータ） (2021-03-19T04:00:27Z)
• Context-Aware Image Denoising with Auto-Threshold Canny Edge Detection to Suppress Adversarial Perturbation [0.8021197489470756]
  本論文では,新しいコンテキスト認識画像デノイジングアルゴリズムを提案する。 適応画像スムージング技術とカラーリダクション技術を組み合わせて、逆画像からの摂動を除去します。 提案手法は, 敵の攻撃による敵の摂動を低減し, 深部畳み込みニューラルネットワークモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2021-01-14T19:15:28Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。