論文の概要: Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models

• arxiv url: http://arxiv.org/abs/2301.08072v1
• Date: Thu, 19 Jan 2023 13:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 14:57:34.044729
• Title: Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
• Title（参考訳）: Dif-Fusion:拡散モデルを用いた赤外・可視画像融合における高色忠実度を目指して
• Authors: Jun Yue, Leyuan Fang, Shaobo Xia, Yue Deng, Jiayi Ma
• Abstract要約: 本稿では,Dif-Fusionと呼ばれる拡散モデルを用いて,マルチチャネル入力データの分布を生成する手法を提案する。 我々の手法は、特にカラー忠実度において、他の最先端画像融合法よりも効果的である。
• 参考スコア（独自算出の注目度）: 54.952979335638204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Color plays an important role in human visual perception, reflecting the spectrum of objects. However, the existing infrared and visible image fusion methods rarely explore how to handle multi-spectral/channel data directly and achieve high color fidelity. This paper addresses the above issue by proposing a novel method with diffusion models, termed as Dif-Fusion, to generate the distribution of the multi-channel input data, which increases the ability of multi-source information aggregation and the fidelity of colors. In specific, instead of converting multi-channel images into single-channel data in existing fusion methods, we create the multi-channel data distribution with a denoising network in a latent space with forward and reverse diffusion process. Then, we use the the denoising network to extract the multi-channel diffusion features with both visible and infrared information. Finally, we feed the multi-channel diffusion features to the multi-channel fusion module to directly generate the three-channel fused image. To retain the texture and intensity information, we propose multi-channel gradient loss and intensity loss. Along with the current evaluation metrics for measuring texture and intensity fidelity, we introduce a new evaluation metric to quantify color fidelity. Extensive experiments indicate that our method is more effective than other state-of-the-art image fusion methods, especially in color fidelity.
• Abstract（参考訳）: 色は人間の視覚知覚において重要な役割を担い、物体のスペクトルを反映している。 しかし、既存の赤外線および可視画像融合法では、マルチスペクトル/チャンネルデータを直接処理し、高い色再現性を達成する方法がほとんどない。 本稿では,dif-fusionと呼ばれる拡散モデルを用いた新しい手法を提案し,多チャンネル入力データの分布を発生させ,多元情報集約と色彩の忠実性を向上させる。 具体的には,既存の融合法において,マルチチャネル画像から単一チャネルデータに変換する代わりに,逆拡散処理を伴う潜在空間にデノージングネットワークを持つマルチチャネルデータ分布を作成する。 そして,このデノナイジングネットワークを用いて,可視情報と赤外線情報の両方を用いて多チャンネル拡散特徴を抽出する。 最後に,マルチチャネル拡散特性を多チャンネル融合モジュールに供給し,直接3チャンネル融合画像を生成する。 テクスチャ情報と強度情報を保持するため,マルチチャネル勾配損失と強度損失を提案する。 テクスチャと強度忠実度を測定するための現在の評価指標とともに、色忠実度を定量化する新しい評価指標を導入する。 広汎な実験により,本手法は他の画像融合法よりも有効であることが示唆された。

関連論文リスト

• TMFNet: Two-Stream Multi-Channels Fusion Networks for Color Image Operation Chain Detection [9.346492393908322]
  カラー画像操作連鎖検出のための新しい2ストリーム多チャンネル融合ネットワークを提案する。 提案手法はJPEG圧縮に対するロバスト性を維持しつつ,最先端の一般化能力を実現する。
  論文  参考訳（メタデータ） (2024-09-12T02:04:26Z)
• Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
  本稿では,Merge-Attend-Diffuse演算子を提案する。 具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。 提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
  論文  参考訳（メタデータ） (2024-08-28T09:22:32Z)
• Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
  本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。 我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。 第2段階では,Diff-Prior という画像強調戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:23:05Z)
• A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
  マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
  論文  参考訳（メタデータ） (2023-12-17T04:45:15Z)
• Fusion of Infrared and Visible Images based on Spatial-Channel Attentional Mechanism [3.388001684915793]
  Infrared and visible image fusion (IVIF) の革新的アプローチであるAMFusionNetを提案する。 可視光源からのテクスチャ特徴と赤外線画像からの熱的詳細を同化することにより,包括的情報に富んだ画像を生成する。 提案手法は, 品質と量の観点から, 最先端のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2023-08-25T21:05:11Z)
• Visible and infrared self-supervised fusion trained on a single example [1.1188842018827656]
  マルチスペクトルイメージングは画像処理とコンピュータビジョンにおいて重要な課題である。 近赤外(NIR)画像融合における可視光(RGB)の問題点は特にタイムリである。 提案されたアプローチは、単一の例で自己監視学習(SSL)によって畳み込みニューラルネットワークをトレーニングすることで、これら2つのチャネルを融合させる。 実験により, 提案手法は, 同様の, より質的, 定量的な多スペクトル核融合結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-07-09T05:25:46Z)
• Denoising Diffusion Models for Plug-and-Play Image Restoration [135.6359475784627]
  本稿では,従来のプラグアンドプレイ方式を拡散サンプリングフレームワークに統合したDiffPIRを提案する。 DiffPIRは、差別的なガウスのデノイザーに依存するプラグアンドプレイIR法と比較して、拡散モデルの生成能力を継承することが期待されている。
  論文  参考訳（メタデータ） (2023-05-15T20:24:38Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Underwater Image Enhancement via Medium Transmission-Guided Multi-Color Space Embedding [88.46682991985907]
  本稿では,Ucolor と呼ばれる媒体透過誘導多色空間埋め込みによる水中画像強調ネットワークを提案する。 当社のネットワークは、複数の色空間を埋め込むことにより、水中画像の視覚的品質を効果的に改善できます。
  論文  参考訳（メタデータ） (2021-04-27T07:35:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。