論文の概要: Implicit Multi-Spectral Transformer: An Lightweight and Effective Visible to Infrared Image Translation Model
- arxiv url: http://arxiv.org/abs/2404.07072v2
- Date: Sat, 27 Apr 2024 07:39:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 22:46:19.352557
- Title: Implicit Multi-Spectral Transformer: An Lightweight and Effective Visible to Infrared Image Translation Model
- Title（参考訳）: Inlicit Multi-Spectral Transformer:赤外画像変換モデルに対する軽量で効果的な可視性
- Authors: Yijia Chen, Pinghua Chen, Xiangxin Zhou, Yingtie Lei, Ziyang Zhou, Mingxian Li,
- Abstract要約: コンピュータビジョンでは、可視光画像は低照度条件において低コントラストを示すことが多く、重要な課題である。
近年のディープラーニング,特にGAN(Generative Adversarial Networks)の展開は,可視光画像から赤外線画像への変換を促進している。
可視光画像から高忠実度赤外線画像へ効率よく変換するエンド・ツー・エンド・エンド・トランスフォーマーモデルを提案する。
- 参考スコア（独自算出の注目度）: 0.6817102408452475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the field of computer vision, visible light images often exhibit low contrast in low-light conditions, presenting a significant challenge. While infrared imagery provides a potential solution, its utilization entails high costs and practical limitations. Recent advancements in deep learning, particularly the deployment of Generative Adversarial Networks (GANs), have facilitated the transformation of visible light images to infrared images. However, these methods often experience unstable training phases and may produce suboptimal outputs. To address these issues, we propose a novel end-to-end Transformer-based model that efficiently converts visible light images into high-fidelity infrared images. Initially, the Texture Mapping Module and Color Perception Adapter collaborate to extract texture and color features from the visible light image. The Dynamic Fusion Aggregation Module subsequently integrates these features. Finally, the transformation into an infrared image is refined through the synergistic action of the Color Perception Adapter and the Enhanced Perception Attention mechanism. Comprehensive benchmarking experiments confirm that our model outperforms existing methods, producing infrared images of markedly superior quality, both qualitatively and quantitatively. Furthermore, the proposed model enables more effective downstream applications for infrared images than other methods.
- Abstract（参考訳）: コンピュータビジョンの分野では、可視光画像は低照度条件では低コントラストを示すことが多く、大きな課題となっている。
赤外線画像は潜在的な解決策を提供するが、その利用には高いコストと実用的な制限が必要である。
近年のディープラーニング,特にGAN(Generative Adversarial Networks)の展開は,可視光画像から赤外線画像への変換を促進している。
しかし、これらの手法はしばしば不安定なトレーニングフェーズを経験し、最適以下の出力を生成する。
これらの問題に対処するために,可視光画像を高忠実度赤外線画像に変換するエンドツーエンドトランスフォーマーモデルを提案する。
当初、Texture Mapping ModuleとColor Perception Adapterは、可視光画像からテクスチャと色の特徴を抽出するために協力していた。
Dynamic Fusion Aggregation Moduleはその後、これらの機能を統合する。
最後に、カラー知覚適応器と拡張知覚注意機構の相乗作用により、赤外線画像への変換を洗練する。
総合的なベンチマーク実験により、我々のモデルは既存の手法よりも優れており、質的にも量的にも非常に優れた赤外線画像を生成することが確認された。
さらに、提案モデルにより、他の手法よりも効果的な赤外線画像のダウンストリーム応用が可能となる。
関連論文リスト
- LTCF-Net: A Transformer-Enhanced Dual-Channel Fourier Framework for Low-Light Image Restoration [1.049712834719005]
低照度画像の高精細化を目的とした新しいネットワークアーキテクチャであるLTCF-Netを導入する。
提案手法では2つの色空間(LABとYUV)を用いて色情報を効率的に分離処理する。
我々のモデルは、画像コンテンツを包括的に理解するためのTransformerアーキテクチャを取り入れている。
論文 参考訳（メタデータ） (2024-11-24T07:21:17Z) - Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。
SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。
スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-19T14:24:03Z) - Infrared-Assisted Single-Stage Framework for Joint Restoration and Fusion of Visible and Infrared Images under Hazy Conditions [9.415977819944246]
本稿では,赤外線画像を用いた統合学習フレームワークを提案する。
本手法は, ヘイズを除去しながらIR-VIS画像を効果的に融合させ, 鮮明で無害な融合結果をもたらす。
論文 参考訳（メタデータ） (2024-11-16T02:57:12Z) - PID: Physics-Informed Diffusion Model for Infrared Image Generation [11.416759828137701]
赤外線イメージング技術は、低視認性条件下での信頼性の高いセンシング能力に大きな注目を集めている。
既存の画像翻訳法の多くは、赤外線画像は、基礎となる物理法則を無視して、スタイリスティックなバリエーションとして扱う。
物理法則に従う赤外線画像にRGB画像を変換するための物理情報拡散(PID)モデルを提案する。
論文 参考訳（メタデータ） (2024-07-12T14:32:30Z) - CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。
既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。
我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文 参考訳（メタデータ） (2024-04-08T07:34:39Z) - IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network [13.11361803763253]
我々はIAIFNetという名前のイルミネーション対応赤外線・可視画像融合ネットワークを提案する。
本フレームワークでは,まず,入力画像の入射照明マップを推定する。
適応微分融合モジュール (ADFM) と有向目標認識モジュール (STAM) の助けを借りて, 画像融合ネットワークは, 照明付赤外線と可視画像の有向的特徴を高画質の融合画像に効果的に統合する。
論文 参考訳（メタデータ） (2023-09-26T15:12:29Z) - Low-Light Image Enhancement with Illumination-Aware Gamma Correction and
Complete Image Modelling Network [69.96295927854042]
低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。
本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。
指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:46:51Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。
カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。
LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
論文 参考訳（メタデータ） (2021-03-19T04:00:27Z) - Bayesian Fusion for Infrared and Visible Images [26.64101343489016]
本稿では,赤外・可視画像のための新しいベイズ融合モデルを構築した。
我々は、融合画像が人間の視覚系を満たすようにすることを目指している。
従来の手法と比較して、新しいモデルは、高照度なターゲットとリッチテクスチャの詳細を持つより良い融合画像を生成することができる。
論文 参考訳（メタデータ） (2020-05-12T14:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。