論文の概要: Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image
Fusion with Diffusion Models
- arxiv url: http://arxiv.org/abs/2301.08072v1
- Date: Thu, 19 Jan 2023 13:37:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 14:57:34.044729
- Title: Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image
Fusion with Diffusion Models
- Title(参考訳): Dif-Fusion:拡散モデルを用いた赤外・可視画像融合における高色忠実度を目指して
- Authors: Jun Yue, Leyuan Fang, Shaobo Xia, Yue Deng, Jiayi Ma
- Abstract要約: 本稿では,Dif-Fusionと呼ばれる拡散モデルを用いて,マルチチャネル入力データの分布を生成する手法を提案する。
我々の手法は、特にカラー忠実度において、他の最先端画像融合法よりも効果的である。
- 参考スコア(独自算出の注目度): 54.952979335638204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Color plays an important role in human visual perception, reflecting the
spectrum of objects. However, the existing infrared and visible image fusion
methods rarely explore how to handle multi-spectral/channel data directly and
achieve high color fidelity. This paper addresses the above issue by proposing
a novel method with diffusion models, termed as Dif-Fusion, to generate the
distribution of the multi-channel input data, which increases the ability of
multi-source information aggregation and the fidelity of colors. In specific,
instead of converting multi-channel images into single-channel data in existing
fusion methods, we create the multi-channel data distribution with a denoising
network in a latent space with forward and reverse diffusion process. Then, we
use the the denoising network to extract the multi-channel diffusion features
with both visible and infrared information. Finally, we feed the multi-channel
diffusion features to the multi-channel fusion module to directly generate the
three-channel fused image. To retain the texture and intensity information, we
propose multi-channel gradient loss and intensity loss. Along with the current
evaluation metrics for measuring texture and intensity fidelity, we introduce a
new evaluation metric to quantify color fidelity. Extensive experiments
indicate that our method is more effective than other state-of-the-art image
fusion methods, especially in color fidelity.
- Abstract(参考訳): 色は人間の視覚知覚において重要な役割を担い、物体のスペクトルを反映している。
しかし、既存の赤外線および可視画像融合法では、マルチスペクトル/チャンネルデータを直接処理し、高い色再現性を達成する方法がほとんどない。
本稿では,dif-fusionと呼ばれる拡散モデルを用いた新しい手法を提案し,多チャンネル入力データの分布を発生させ,多元情報集約と色彩の忠実性を向上させる。
具体的には,既存の融合法において,マルチチャネル画像から単一チャネルデータに変換する代わりに,逆拡散処理を伴う潜在空間にデノージングネットワークを持つマルチチャネルデータ分布を作成する。
そして,このデノナイジングネットワークを用いて,可視情報と赤外線情報の両方を用いて多チャンネル拡散特徴を抽出する。
最後に,マルチチャネル拡散特性を多チャンネル融合モジュールに供給し,直接3チャンネル融合画像を生成する。
テクスチャ情報と強度情報を保持するため,マルチチャネル勾配損失と強度損失を提案する。
テクスチャと強度忠実度を測定するための現在の評価指標とともに、色忠実度を定量化する新しい評価指標を導入する。
広汎な実験により,本手法は他の画像融合法よりも有効であることが示唆された。
関連論文リスト
- A Dual Domain Multi-exposure Image Fusion Network based on the
Spatial-Frequency Integration [57.14745782076976]
マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。
本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。
提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
論文 参考訳(メタデータ) (2023-12-17T04:45:15Z) - Fusion of Infrared and Visible Images based on Spatial-Channel
Attentional Mechanism [3.388001684915793]
Infrared and visible image fusion (IVIF) の革新的アプローチであるAMFusionNetを提案する。
可視光源からのテクスチャ特徴と赤外線画像からの熱的詳細を同化することにより,包括的情報に富んだ画像を生成する。
提案手法は, 品質と量の観点から, 最先端のアルゴリズムより優れている。
論文 参考訳(メタデータ) (2023-08-25T21:05:11Z) - Visible and infrared self-supervised fusion trained on a single example [1.1188842018827656]
マルチスペクトルイメージングは画像処理とコンピュータビジョンにおいて重要な課題である。
近赤外(NIR)画像融合における可視光(RGB)の問題点は特にタイムリである。
提案されたアプローチは、単一の例で自己監視学習(SSL)によって畳み込みニューラルネットワークをトレーニングすることで、これら2つのチャネルを融合させる。
実験により, 提案手法は, 同様の, より質的, 定量的な多スペクトル核融合結果が得られることを示した。
論文 参考訳(メタデータ) (2023-07-09T05:25:46Z) - Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。
DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
論文 参考訳(メタデータ) (2023-05-15T20:24:38Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-11-26T02:40:28Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-11-20T12:02:07Z) - Towards Homogeneous Modality Learning and Multi-Granularity Information
Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。
従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。
そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文 参考訳(メタデータ) (2022-04-11T03:03:19Z) - Underwater Image Enhancement via Medium Transmission-Guided Multi-Color
Space Embedding [88.46682991985907]
本稿では,Ucolor と呼ばれる媒体透過誘導多色空間埋め込みによる水中画像強調ネットワークを提案する。
当社のネットワークは、複数の色空間を埋め込むことにより、水中画像の視覚的品質を効果的に改善できます。
論文 参考訳(メタデータ) (2021-04-27T07:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。