論文の概要: DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

• arxiv url: http://arxiv.org/abs/2303.06840v2
• Date: Tue, 22 Aug 2023 23:19:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 18:29:39.266739
• Title: DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
• Title（参考訳）: DDFM:多モード画像融合のための拡散モデル
• Authors: Zixiang Zhao, Haowen Bai, Yuanzhi Zhu, Jiangshe Zhang, Shuang Xu, Yulun Zhang, Kai Zhang, Deyu Meng, Radu Timofte, Luc Van Gool
• Abstract要約: 拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
• 参考スコア（独自算出の注目度）: 144.9653045465908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modality image fusion aims to combine different modalities to produce fused images that retain the complementary features of each modality, such as functional highlights and texture details. To leverage strong generative priors and address challenges such as unstable training and lack of interpretability for GAN-based generative methods, we propose a novel fusion algorithm based on the denoising diffusion probabilistic model (DDPM). The fusion task is formulated as a conditional generation problem under the DDPM sampling framework, which is further divided into an unconditional generation subproblem and a maximum likelihood subproblem. The latter is modeled in a hierarchical Bayesian manner with latent variables and inferred by the expectation-maximization (EM) algorithm. By integrating the inference solution into the diffusion sampling iteration, our method can generate high-quality fused images with natural image generative priors and cross-modality information from source images. Note that all we required is an unconditional pre-trained generative model, and no fine-tuning is needed. Our extensive experiments indicate that our approach yields promising fusion results in infrared-visible image fusion and medical image fusion. The code is available at \url{https://github.com/Zhaozixiang1228/MMIF-DDFM}.
• Abstract（参考訳）: マルチモーダル画像融合は、機能ハイライトやテクスチャ詳細など、各モーダルの相補的な特徴を保持する融合画像を生成するために、様々なモダリティを組み合わせることを目的としている。 不安定な学習や,GANに基づく生成手法の解釈可能性の欠如といった課題に対処するために,拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 融合タスクはDDPMサンプリングフレームワークの下で条件生成問題として定式化され、さらに非条件生成サブプロブレムと最大極大サブプロブレムに分割される。 後者は、潜在変数を持つ階層的ベイズ方式でモデル化され、期待最大化(EM)アルゴリズムによって推定される。 拡散サンプリングイテレーションに推論ソリューションを組み込むことにより,音源画像から自然画像生成前処理とクロスモダリティ情報を含む高品質な融合画像を生成することができる。 必要なのは条件のない事前学習生成モデルだけで、微調整は不要である。 広範にわたる実験により,近赤外可視画像融合と医用画像融合の有望な融合が得られた。 コードは \url{https://github.com/zhaozixiang1228/mmif-ddfm} で入手できる。

関連論文リスト

• Conditional Controllable Image Fusion [56.4120974322286]
  条件付き制御可能核融合(CCF)フレームワーク。 CCFは、実際には個々の個人に対して特定の核融合の制約を課している。 様々なシナリオにまたがる一般融合タスクにおける有効性を検証する実験。
  論文  参考訳（メタデータ） (2024-11-03T13:56:15Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• CoMoFusion: Fast and High-quality Fusion of Infrared and Visible Image with Consistency Model [20.02742423120295]
  現在の生成モデルに基づく融合法は、しばしば不安定なトレーニングと遅い推論速度に悩まされる。 CoMoFusionは高品質な画像を生成し、高速な画像推論速度を実現する。 また、融合した画像のテクスチャや鮮やかな情報を高めるために、画素値選択に基づく新規な損失も設計する。
  論文  参考訳（メタデータ） (2024-05-31T12:35:06Z)
• DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
  拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。 スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。 本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
  論文  参考訳（メタデータ） (2024-04-09T09:05:23Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDRF: Denoising Diffusion Model for Remote Sensing Image Fusion [7.06521373423708]
  生成モデルとしてのデノシング拡散モデルは、画像生成の分野で多くの注目を集めている。 画像融合フィールドへの拡散モデルを導入し、画像融合タスクを画像から画像への変換として扱う。 本手法は,画像融合タスクに拡散モデルを適用するために,他の作業に刺激を与え,この分野の洞察を得ることができる。
  論文  参考訳（メタデータ） (2023-04-10T12:28:27Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。