論文の概要: Memory-Guided Collaborative Attention for Nighttime Thermal Infrared
Image Colorization
- arxiv url: http://arxiv.org/abs/2208.02960v1
- Date: Fri, 5 Aug 2022 03:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-08 12:34:50.815256
- Title: Memory-Guided Collaborative Attention for Nighttime Thermal Infrared
Image Colorization
- Title(参考訳): 夜間熱赤外画像色化のための記憶誘導協調注意
- Authors: Fu-Ya Luo, Yi-Jun Cao, Kai-Fu Yang, and Yong-Jie Li
- Abstract要約: メモリ誘導型cOllaboRative AtteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。
MornGANはヒトのアナログ推論機構にインスパイアされている。
セマンティックな保存とエッジの整合性の観点から、他の画像から画像への変換方法よりも大幅に優れています。
- 参考スコア(独自算出の注目度): 14.239472686466325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nighttime thermal infrared (NTIR) image colorization, also known as
translation of NTIR images into daytime color images (NTIR2DC), is a promising
research direction to facilitate nighttime scene perception for humans and
intelligent systems under unfavorable conditions (e.g., complete darkness).
However, previously developed methods have poor colorization performance for
small sample classes. Moreover, reducing the high confidence noise in
pseudo-labels and addressing the problem of image gradient disappearance during
translation are still under-explored, and keeping edges from being distorted
during translation is also challenging. To address the aforementioned issues,
we propose a novel learning framework called Memory-guided cOllaboRative
atteNtion Generative Adversarial Network (MornGAN), which is inspired by the
analogical reasoning mechanisms of humans. Specifically, a memory-guided sample
selection strategy and adaptive collaborative attention loss are devised to
enhance the semantic preservation of small sample categories. In addition, we
propose an online semantic distillation module to mine and refine the
pseudo-labels of NTIR images. Further, conditional gradient repair loss is
introduced for reducing edge distortion during translation. Extensive
experiments on the NTIR2DC task show that the proposed MornGAN significantly
outperforms other image-to-image translation methods in terms of semantic
preservation and edge consistency, which helps improve the object detection
accuracy remarkably.
- Abstract(参考訳): NTIR(Nighttime thermal Infrared)画像のカラー化(NTIR)は、NTIRイメージを昼間のカラー画像(NTIR2DC)に変換することで、不都合な条件下での人間やインテリジェントシステムに対する夜間シーンの認識を容易にする、有望な研究方向である。
しかし, 従来開発された手法では, 小クラスでは色付け性能が低かった。
さらに、擬似ラベルの高信頼ノイズの低減や、翻訳中の画像勾配の消失問題への対処も未検討であり、翻訳中にエッジが歪むことを防ぐことも困難である。
上記の課題に対処するため,記憶誘導型cOllaboRative atteNtion Generative Adversarial Network (MornGAN) と呼ばれる新しい学習フレームワークを提案する。
具体的には、記憶誘導型サンプル選択戦略と適応的協調的注意損失を考案し、小さなサンプルカテゴリのセマンティックな保存を強化する。
さらに,NTIR画像の擬似ラベルをマイニングし,精錬するためのオンラインセマンティック蒸留モジュールを提案する。
さらに、翻訳中のエッジ歪みを低減するために条件勾配補修損失を導入する。
NTIR2DCタスクにおける広範囲な実験により,提案したMornGANは,意味的保存とエッジ整合性の観点から他の画像間翻訳法よりも優れており,オブジェクト検出精度が著しく向上することが示された。
関連論文リスト
- You Only Need One Color Space: An Efficient Network for Low-light Image
Enhancement [51.33241089734805]
低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。
水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。
輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
論文 参考訳(メタデータ) (2024-02-08T16:47:43Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image
Editing [63.89492742059184]
本稿では,LDM(Latent Image-to-image Translation Model)に対するCDS(Contrastive Denoising Score)の変更について述べる。
具体的には,フレームワーク内のCUT損失を用いて構造的整合性を制御するための簡単なアプローチを提案する。
提案手法は,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集を可能にする。
論文 参考訳(メタデータ) (2023-11-30T15:06:10Z) - Nighttime Thermal Infrared Image Colorization with Feedback-based Object
Appearance Learning [27.58748298687474]
フィードバックに基づくオブジェクト外観学習(FoalGAN)を取り入れた生成的対向ネットワークを提案する。
FoalGANは、小さなオブジェクトの外観学習に有効であるが、意味保存とエッジ整合性の点で、他の画像翻訳方法よりも優れている。
論文 参考訳(メタデータ) (2023-10-24T09:59:55Z) - Edge-guided Multi-domain RGB-to-TIR image Translation for Training
Vision Tasks with Challenging Labels [12.701191873813583]
注釈付き熱赤外(TIR)画像データセットの不足は、TIR画像ベースのディープラーニングネットワークを妨害し、RGBと同等の性能を持つ。
本稿では,エッジ保存に着目したマルチドメインRGBからTIRへの変換モデルを提案する。
我々は、終点誤差を平均56.5%改善した深部TIR画像に基づく光フロー推定と物体検出の教師あり学習を可能にし、最高の物体検出mAPは23.9%とした。
論文 参考訳(メタデータ) (2023-01-30T06:44:38Z) - Reverse Engineering of Imperceptible Adversarial Image Perturbations [43.87341855153572]
REDの問題を形式化し、REDのアプローチ設計に不可欠な原則のセットを特定します。
そこで我々は,CDD-RED と呼ばれる新しいクラス識別型Denoising RED フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-26T19:52:40Z) - Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。
対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。
低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
論文 参考訳(メタデータ) (2021-12-24T17:00:54Z) - LTT-GAN: Looking Through Turbulence by Inverting GANs [86.25869403782957]
本稿では,よく訓練されたGANによってカプセル化された視覚的事前情報を利用した最初の乱流緩和手法を提案する。
視覚的先行性に基づき、周期的な文脈距離で復元された画像の同一性を維持することを学ぶことを提案する。
本手法は, 回復した結果の視覚的品質と顔認証精度の両方において, 先行技術よりも優れていた。
論文 参考訳(メタデータ) (2021-12-04T16:42:13Z) - Thermal Infrared Image Colorization for Nighttime Driving Scenes with
Top-Down Guided Attention [14.527765677864913]
toP-down attEntion and gRadient aLignment based GAN(PearlGAN)を提案する。
トップダウンガイドアテンションモジュールと精巧なアテンションロスは、翻訳中の意味的エンコーディングの曖昧さを減らすために最初に設計されている。
さらに、FLIRおよびKAISTデータセットのサブセット上で画素レベルのアノテーションを行い、複数の翻訳手法のセマンティックな保存性能を評価する。
論文 参考訳(メタデータ) (2021-04-29T14:35:25Z) - Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。
カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。
LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文 参考訳(メタデータ) (2021-03-19T04:00:27Z) - Context-Aware Image Denoising with Auto-Threshold Canny Edge Detection
to Suppress Adversarial Perturbation [0.8021197489470756]
本論文では,新しいコンテキスト認識画像デノイジングアルゴリズムを提案する。
適応画像スムージング技術とカラーリダクション技術を組み合わせて、逆画像からの摂動を除去します。
提案手法は, 敵の攻撃による敵の摂動を低減し, 深部畳み込みニューラルネットワークモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2021-01-14T19:15:28Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。