論文の概要: CoMoFusion: Fast and High-quality Fusion of Infrared and Visible Image with Consistency Model

• arxiv url: http://arxiv.org/abs/2405.20764v3
• Date: Wed, 12 Jun 2024 03:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 21:55:11.024112
• Title: CoMoFusion: Fast and High-quality Fusion of Infrared and Visible Image with Consistency Model
• Title（参考訳）: CoMoFusion: 一貫性モデルによる赤外線と可視画像の高速かつ高品質な融合
• Authors: Zhiming Meng, Hui Li, Zeyang Zhang, Zhongwei Shen, Yunlong Yu, Xiaoning Song, Xiaojun Wu,
• Abstract要約: 現在の生成モデルに基づく融合法は、しばしば不安定なトレーニングと遅い推論速度に悩まされる。 CoMoFusionは高品質な画像を生成し、高速な画像推論速度を実現する。 また、融合した画像のテクスチャや鮮やかな情報を高めるために、画素値選択に基づく新規な損失も設計する。
• 参考スコア（独自算出の注目度）: 20.02742423120295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models are widely utilized to model the distribution of fused images in the field of infrared and visible image fusion. However, current generative models based fusion methods often suffer from unstable training and slow inference speed. To tackle this problem, a novel fusion method based on consistency model is proposed, termed as CoMoFusion, which can generate the high-quality images and achieve fast image inference speed. In specific, the consistency model is used to construct multi-modal joint features in the latent space with the forward and reverse process. Then, the infrared and visible features extracted by the trained consistency model are fed into fusion module to generate the final fused image. In order to enhance the texture and salient information of fused images, a novel loss based on pixel value selection is also designed. Extensive experiments on public datasets illustrate that our method obtains the SOTA fusion performance compared with the existing fusion methods.
• Abstract（参考訳）: 生成モデルは、赤外線および可視画像融合の分野における融合画像の分布をモデル化するために広く利用されている。 しかし、現在の生成モデルに基づく融合法は、しばしば不安定なトレーニングと遅い推論速度に悩まされる。 この問題を解決するために,CoMoFusionと呼ばれる一貫性モデルに基づく新しい融合法を提案し,高品質な画像を生成し,高速な画像推論を実現する。 具体的には、整合性モデルは、前と逆のプロセスで潜在空間に多重モードのジョイント特徴を構築するのに使用される。 そして、トレーニングされた一貫性モデルによって抽出された赤外および可視の特徴を融合モジュールに供給し、最終融合画像を生成する。 また、融合した画像のテクスチャや鮮やかな情報を高めるために、画素値選択に基づく新規な損失も設計する。 公開データセットに対する大規模な実験により,既存の融合法と比較してSOTA融合性能が向上したことを示す。

関連論文リスト

• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion [59.19469551774703]
  赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。 局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。 本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
  論文  参考訳（メタデータ） (2023-02-02T20:06:58Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Cross Attention-guided Dense Network for Images Fusion [6.722525091148737]
  本稿では,新しいクロスアテンション誘導画像融合ネットワークを提案する。 マルチモーダル画像融合、マルチ露光画像融合、マルチフォーカス画像融合のための統一的で教師なしのフレームワークである。 以上の結果から,提案モデルが定量的かつ質的に,最先端のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-23T14:22:47Z)
• Bayesian Fusion for Infrared and Visible Images [26.64101343489016]
  本稿では,赤外・可視画像のための新しいベイズ融合モデルを構築した。 我々は、融合画像が人間の視覚系を満たすようにすることを目指している。 従来の手法と比較して、新しいモデルは、高照度なターゲットとリッチテクスチャの詳細を持つより良い融合画像を生成することができる。
  論文  参考訳（メタデータ） (2020-05-12T14:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。