論文の概要: Infrared-Assisted Single-Stage Framework for Joint Restoration and Fusion of Visible and Infrared Images under Hazy Conditions

• arxiv url: http://arxiv.org/abs/2411.12586v1
• Date: Sat, 16 Nov 2024 02:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:30.702422
• Title: Infrared-Assisted Single-Stage Framework for Joint Restoration and Fusion of Visible and Infrared Images under Hazy Conditions
• Title（参考訳）: 環境下における可視・赤外線画像の統合再生・融合のための赤外支援シングルステージフレームワーク
• Authors: Huafeng Li, Jiaqi Fang, Yafei Zhang, Yu Liu,
• Abstract要約: 本稿では,赤外線画像を用いた統合学習フレームワークを提案する。 本手法は, ヘイズを除去しながらIR-VIS画像を効果的に融合させ, 鮮明で無害な融合結果をもたらす。
• 参考スコア（独自算出の注目度）: 9.415977819944246
• License:
• Abstract: Infrared and visible (IR-VIS) image fusion has gained significant attention for its broad application value. However, existing methods often neglect the complementary role of infrared image in restoring visible image features under hazy conditions. To address this, we propose a joint learning framework that utilizes infrared image for the restoration and fusion of hazy IR-VIS images. To mitigate the adverse effects of feature diversity between IR-VIS images, we introduce a prompt generation mechanism that regulates modality-specific feature incompatibility. This creates a prompt selection matrix from non-shared image information, followed by prompt embeddings generated from a prompt pool. These embeddings help generate candidate features for dehazing. We further design an infrared-assisted feature restoration mechanism that selects candidate features based on haze density, enabling simultaneous restoration and fusion within a single-stage framework. To enhance fusion quality, we construct a multi-stage prompt embedding fusion module that leverages feature supplementation from the prompt generation module. Our method effectively fuses IR-VIS images while removing haze, yielding clear, haze-free fusion results. In contrast to two-stage methods that dehaze and then fuse, our approach enables collaborative training in a single-stage framework, making the model relatively lightweight and suitable for practical deployment. Experimental results validate its effectiveness and demonstrate advantages over existing methods.
• Abstract（参考訳）: 赤外線と可視光(IR-VIS)画像融合は、その幅広い応用価値に大きな注目を集めている。 しかし、既存の方法では、ぼんやりとした条件下での可視像の特徴の復元において、赤外線画像の相補的な役割を無視することが多い。 そこで本研究では,赤外線画像を用いた統合学習フレームワークを提案する。 IR-VIS画像間の特徴多様性の悪影響を軽減するため,モーダリティ固有の特徴非互換性を規定する素早い生成機構を導入する。 これにより、非共有画像情報からプロンプト選択行列を生成し、プロンプトプールからプロンプト埋め込みを生成する。 これらの埋め込みは、脱ヘイのための候補機能を生成するのに役立ちます。 我々はさらに、ヘイズ密度に基づいて候補特徴を選択する赤外線支援機能回復機構を設計し、単一ステージのフレームワーク内で同時回復と融合を可能にする。 核融合の品質を高めるため、我々は、プロンプト生成モジュールから特徴補充を利用するマルチステージプロンプト埋め込み融合モジュールを構築した。 本手法は, ヘイズを除去しながらIR-VIS画像を効果的に融合させ, 鮮明で無害な融合結果をもたらす。 解熱し、融合する2段階の手法とは対照的に、我々の手法はシングルステージのフレームワークでの協調的なトレーニングを可能にし、モデルを比較的軽量で実用的なデプロイに適したものにします。 実験により, 本手法の有効性を検証し, 既存手法に対する利点を実証した。

関連論文リスト

• Implicit Multi-Spectral Transformer: An Lightweight and Effective Visible to Infrared Image Translation Model [0.6817102408452475]
  コンピュータビジョンでは、可視光画像は低照度条件において低コントラストを示すことが多く、重要な課題である。 近年のディープラーニング,特にGAN(Generative Adversarial Networks)の展開は,可視光画像から赤外線画像への変換を促進している。 可視光画像から高忠実度赤外線画像へ効率よく変換するエンド・ツー・エンド・エンド・トランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:02:26Z)
• IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network [13.11361803763253]
  我々はIAIFNetという名前のイルミネーション対応赤外線・可視画像融合ネットワークを提案する。 本フレームワークでは,まず,入力画像の入射照明マップを推定する。 適応微分融合モジュール (ADFM) と有向目標認識モジュール (STAM) の助けを借りて, 画像融合ネットワークは, 照明付赤外線と可視画像の有向的特徴を高画質の融合画像に効果的に統合する。
  論文  参考訳（メタデータ） (2023-09-26T15:12:29Z)
• SSPFusion: A Semantic Structure-Preserving Approach for Infrared and Visible Image Fusion [30.55433673796615]
  既存の学習ベースの赤外線および可視画像融合(IVIF)法は、融合画像に大量の冗長情報を示す。 本稿では,IVIF における意味的構造保存手法,すなわち SSPFusion を提案する。 提案手法は,2組の赤外線画像と可視画像から高品質な融合画像を生成することができ,下流コンピュータビジョンタスクの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-09-26T08:13:32Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Interactive Feature Embedding for Infrared and Visible Image Fusion [94.77188069479155]
  赤外線と可視画像の融合のための一般的なディープラーニングに基づく手法は、情報保持のための教師なしのメカニズムに依存している。 赤外線および可視画像融合のための自己教師付き学習フレームワークに,インタラクティブな新たな特徴埋め込みを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:34:42Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。