論文の概要: DM-FNet: Unified multimodal medical image fusion via diffusion process-trained encoder-decoder

• arxiv url: http://arxiv.org/abs/2506.15218v1
• Date: Wed, 18 Jun 2025 07:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.579206
• Title: DM-FNet: Unified multimodal medical image fusion via diffusion process-trained encoder-decoder
• Title（参考訳）: DM-FNet:拡散過程を訓練したエンコーダデコーダによる統一型マルチモーダル医用画像融合
• Authors: Dan He, Weisheng Li, Guofen Wang, Yuping Huang, Shiqiang Liu,
• Abstract要約: マルチモーダル医用画像融合(MMIF)は複数のソース画像から最も有意義な情報を抽出する。 既存のMMIF法は、従来の訓練中に詳細な特徴を捉える能力に制限がある。 本研究では,2段階拡散モデルに基づく融合ネットワーク(DM-FNet)を提案する。
• 参考スコア（独自算出の注目度）: 13.87371547830489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal medical image fusion (MMIF) extracts the most meaningful information from multiple source images, enabling a more comprehensive and accurate diagnosis. Achieving high-quality fusion results requires a careful balance of brightness, color, contrast, and detail; this ensures that the fused images effectively display relevant anatomical structures and reflect the functional status of the tissues. However, existing MMIF methods have limited capacity to capture detailed features during conventional training and suffer from insufficient cross-modal feature interaction, leading to suboptimal fused image quality. To address these issues, this study proposes a two-stage diffusion model-based fusion network (DM-FNet) to achieve unified MMIF. In Stage I, a diffusion process trains UNet for image reconstruction. UNet captures detailed information through progressive denoising and represents multilevel data, providing a rich set of feature representations for the subsequent fusion network. In Stage II, noisy images at various steps are input into the fusion network to enhance the model's feature recognition capability. Three key fusion modules are also integrated to process medical images from different modalities adaptively. Ultimately, the robust network structure and a hybrid loss function are integrated to harmonize the fused image's brightness, color, contrast, and detail, enhancing its quality and information density. The experimental results across various medical image types demonstrate that the proposed method performs exceptionally well regarding objective evaluation metrics. The fused image preserves appropriate brightness, a comprehensive distribution of radioactive tracers, rich textures, and clear edges. The code is available at https://github.com/HeDan-11/DM-FNet.
• Abstract（参考訳）: MMIF(Multimodal Medical Image fusion)は、複数のソース画像から最も有意義な情報を抽出し、より包括的で正確な診断を可能にする。 高品質な融合結果を得るためには、明るさ、色、コントラスト、詳細の慎重なバランスが必要である。 しかし,既存のMMIF法は,従来の訓練において,詳細な特徴を捉える能力に限界があり,相互モーダルな特徴の相互作用が不十分なため,画像品質が最適以下になる。 そこで本研究では,MMIFを実現するための2段階拡散モデルベース融合ネットワーク(DM-FNet)を提案する。 ステージIでは、拡散プロセスがイメージ再構成のためにUNetを訓練する。 UNetは、プログレッシブデノケーションを通じて詳細な情報をキャプチャし、マルチレベルデータを表現し、その後のフュージョンネットワークのための豊富な特徴表現を提供する。 ステージIIでは、様々なステップのノイズ画像が融合ネットワークに入力され、モデルの特徴認識能力が向上する。 3つの核融合モジュールも統合され、異なるモードからの医療画像が適応的に処理される。 最終的に、堅牢なネットワーク構造とハイブリッド損失関数を統合して、融合画像の明るさ、色、コントラスト、ディテールを調和させ、その品質と情報密度を高める。 種々の医用画像タイプを対象とした実験結果から,提案手法は客観的評価指標に関して極めて良好に機能することが示された。 融合した画像は、適切な明るさ、放射性トレーサの包括分布、リッチテクスチャ、クリアエッジを保存します。 コードはhttps://github.com/HeDan-11/DM-FNetで公開されている。

関連論文リスト

• Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model [2.507050016527729]
  トリモーダル医療画像融合は、病気の形状、位置、生物学的活動をより包括的に見ることができる。 画像装置の限界や患者の安全への配慮により、医療画像の品質は制限されることが多い。 画像の解像度を向上し、マルチモーダル情報を統合できる技術が緊急に必要である。
  論文  参考訳（メタデータ） (2024-04-26T12:13:41Z)
• AdaFuse: Adaptive Medical Image Fusion Based on Spatial-Frequential Cross Attention [6.910879180358217]
  本稿では,周波数誘導型アテンション機構によりマルチモーダル画像情報を適応的に融合させるAdaFuseを提案する。 提案手法は,視覚的品質と定量的指標の両方の観点から,最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-10-09T07:10:30Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。