論文の概要: UMCFuse: A Unified Multiple Complex Scenes Infrared and Visible Image Fusion Framework
- arxiv url: http://arxiv.org/abs/2402.02096v2
- Date: Tue, 28 Oct 2025 06:51:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 17:50:19.924588
- Title: UMCFuse: A Unified Multiple Complex Scenes Infrared and Visible Image Fusion Framework
- Title(参考訳): UMCFuse: 赤外線と可視画像融合フレームワーク
- Authors: Xilai Li, Xiaosong Li, Tianshu Tan, Huafeng Li, Tao Ye,
- Abstract要約: UMCFuseと呼ばれる複雑なシーンにおける赤外線と可視画像の融合のための統合フレームワークを提案する。
我々は、可視画像のピクセルを光透過の散乱度から分類し、全体的な強度から細部を分離する。
- 参考スコア(独自算出の注目度): 18.30261731071375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared and visible image fusion has emerged as a prominent research area in computer vision. However, little attention has been paid to the fusion task in complex scenes, leading to sub-optimal results under interference. To fill this gap, we propose a unified framework for infrared and visible images fusion in complex scenes, termed UMCFuse. Specifically, we classify the pixels of visible images from the degree of scattering of light transmission, allowing us to separate fine details from overall intensity. Maintaining a balance between interference removal and detail preservation is essential for the generalization capacity of the proposed method. Therefore, we propose an adaptive denoising strategy for the fusion of detail layers. Meanwhile, we fuse the energy features from different modalities by analyzing them from multiple directions. Extensive fusion experiments on real and synthetic complex scenes datasets cover adverse weather conditions, noise, blur, overexposure, fire, as well as downstream tasks including semantic segmentation, object detection, salient object detection, and depth estimation, consistently indicate the superiority of the proposed method compared with the recent representative methods. Our code is available at https://github.com/ixilai/UMCFuse.
- Abstract(参考訳): コンピュータビジョンにおける顕著な研究領域として、赤外線と可視画像の融合が出現している。
しかし、複雑な場面での融合作業にはほとんど注意が払われておらず、干渉下での準最適結果に繋がる。
このギャップを埋めるために、複雑なシーンにおける赤外線と可視画像の融合のための統一的なフレームワークUMCFuseを提案する。
具体的には、光透過の散乱度から可視画像のピクセルを分類し、全体的な強度から細部を分離する。
提案手法の一般化能力には,干渉除去と詳細保存のバランスを維持することが不可欠である。
そこで本稿では,詳細レイヤの融合のための適応型デノベーション戦略を提案する。
一方、複数の方向からエネルギー特性を解析することで、異なるモーダルからエネルギー特徴を融合させる。
実・合成複合シーンデータセットの大規模な融合実験は、悪天候条件、ノイズ、ぼかし、過剰露光、火災だけでなく、セマンティックセグメンテーション、オブジェクト検出、健全な物体検出、深度推定といった下流タスクをカバーしており、最近の代表的な手法と比較して、提案手法の優位性を一貫して示している。
私たちのコードはhttps://github.com/ixilai/UMCFuse.comから入手可能です。
関連論文リスト
- Fusing in 3D: Free-Viewpoint Fusion Rendering with a 3D Infrared-Visible Scene Representation [9.888838004473323]
赤外線可視画像融合は、赤外線と可視情報を単一の融合画像に統合することを目的としている。
既存の2次元融合法は、複雑なシナリオの包括的理解を無視して、固定されたカメラ視点から画像を融合することに焦点を当てている。
Infrared-Visible Gaussian Fusionフレームワークを提案する。これはマルチモーダル2次元入力からシーン形状を再構成し、融合画像の直接レンダリングを可能にする。
論文 参考訳(メタデータ) (2026-01-19T03:38:05Z) - SGDFuse: SAM-Guided Diffusion for High-Fidelity Infrared and Visible Image Fusion [65.80051636480836]
本稿では,Segment Anything Model(SAM)によって導かれる条件拡散モデルを提案する。
このフレームワークは2段階のプロセスで動作し、まずマルチモーダルな特徴の予備的な融合を行い、その後、拡散モデルの粗大な分極生成を駆動する条件としてセマンティックマスクを利用する。
SGDFuseは主観的評価と客観的評価の両方において最先端の性能を発揮することを示す。
論文 参考訳(メタデータ) (2025-08-07T10:58:52Z) - Layer Decomposition and Morphological Reconstruction for Task-Oriented Infrared Image Enhancement [4.06181861004177]
赤外線画像は、霧、雨、低光といった複雑な気象条件下での自律運転の知覚能力を向上させるのに役立つ。
しかし、赤外線画像はしばしば低コントラストに悩まされ、特に自転車のような非熱発光ターゲットでは顕著である。
雑音を増幅せず重要な情報を失うことなくコントラスト強調を実現するタスク指向赤外線画像強調手法を提案する。
論文 参考訳(メタデータ) (2025-06-29T18:10:05Z) - Infrared and Visible Image Fusion Based on Implicit Neural Representations [3.8530055385287403]
赤外線と可視光画像融合は、両モードの強度を組み合わせることで、情報に富む画像を生成することを目的としている。
Inlicit Neural Representations (INR) に基づく画像融合手法を提案する。
実験の結果,INRFuseは主観的視覚的品質と客観的評価指標の両方において既存手法よりも優れていた。
論文 参考訳(メタデータ) (2025-06-20T06:34:19Z) - Causality-Driven Infrared and Visible Image Fusion [7.454657847653563]
本稿では,画像融合タスクを因果性の観点から再検討する。
モデルとバイアスの影響は、調整された因果グラフを構築することによって切り離される。
共同設立者の干渉を排除するため、バックドア調整ベースのフィーチャーフュージョンモジュール(BAFFM)が提案されている。
論文 参考訳(メタデータ) (2025-05-27T07:48:52Z) - DFVO: Learning Darkness-free Visible and Infrared Image Disentanglement and Fusion All at Once [57.15043822199561]
可視・赤外画像のアンタングル化と融合を同時に行うためのダークネスフリーネットワーク(DFVO)を提案する。
DFVOは、従来の2段階のカスケードトレーニング(エンハンスメントと融合)を置き換えるために、ケースケードマルチタスクアプローチを採用している
提案手法は,定性的および定量的評価の観点から,最先端の代替品よりも優れている。
論文 参考訳(メタデータ) (2025-05-07T15:59:45Z) - Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and
Visible Images [49.75771095302775]
赤外線および可視画像を用いた適応型マルチスケール核融合ネットワーク(AMFusion)を提案する。
まず、赤外画像と可視画像から空間的特徴と意味的特徴を分離し、前者が光分布の調整に使用される。
第2に,事前学習したバックボーンから抽出した検出機能を利用して,意味的特徴の融合を誘導する。
第3に、通常の光強度で融合画像を制約する新しい照明損失を提案する。
論文 参考訳(メタデータ) (2024-03-02T03:52:07Z) - A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion [46.545365049713105]
赤外線および可視画像融合は、ソース画像の強度と詳細情報を含む融合画像を生成することを目的としている。
既存の手法は主に損失関数の単純な重みを採用し、各モードの情報保持を決定する。
近赤外・可視画像融合のためのマルチスケールデュアルアテンション(MDA)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T14:40:05Z) - Deep-learning-based decomposition of overlapping-sparse images: application at the vertex of neutrino interactions [2.5521723486759407]
本稿では,深層学習の力を利用して,多次元重なり合うスパース画像中の個々の物体を正確に抽出する手法を提案する。
これは、イメージング検出器から得られるオーバーレイド素粒子を分解した高エネルギー物理学の直接的な応用である。
論文 参考訳(メタデータ) (2023-10-30T16:12:25Z) - IAIFNet: An Illumination-Aware Infrared and Visible Image Fusion Network [13.11361803763253]
我々はIAIFNetという名前のイルミネーション対応赤外線・可視画像融合ネットワークを提案する。
本フレームワークでは,まず,入力画像の入射照明マップを推定する。
適応微分融合モジュール (ADFM) と有向目標認識モジュール (STAM) の助けを借りて, 画像融合ネットワークは, 照明付赤外線と可視画像の有向的特徴を高画質の融合画像に効果的に統合する。
論文 参考訳(メタデータ) (2023-09-26T15:12:29Z) - PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant
Semantic Segmentation [50.556961575275345]
対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。
我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-08-08T01:55:44Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳(メタデータ) (2023-05-20T17:01:52Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳(メタデータ) (2023-05-17T06:48:35Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳(メタデータ) (2023-04-12T06:49:56Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Visible and Near Infrared Image Fusion Based on Texture Information [4.718295968108302]
テクスチャ情報に基づく新しい可視・近赤外融合法を提案する。
従来の可視・近赤外画像融合法におけるアーティファクト,情報損失,ノイズの問題を解決することを目的としている。
実験の結果,提案アルゴリズムは可視・近赤外画像のスペクトル特性とユニークな情報を保存することができることがわかった。
論文 参考訳(メタデータ) (2022-07-22T09:02:17Z) - Target-aware Dual Adversarial Learning and a Multi-scenario
Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。
従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。
本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
論文 参考訳(メタデータ) (2022-03-30T11:44:56Z) - When Image Decomposition Meets Deep Learning: A Novel Infrared and
Visible Image Fusion Method [27.507158159317417]
赤外線と可視光の融合は画像処理と画像強調においてホットな話題である。
本稿では,新しいデュアルストリーム自動エンコーダを用いた核融合ネットワークを提案する。
論文 参考訳(メタデータ) (2020-09-02T19:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。