論文の概要: FlexiD-Fuse: Flexible number of inputs multi-modal medical image fusion based on diffusion model

• arxiv url: http://arxiv.org/abs/2509.09456v1
• Date: Thu, 11 Sep 2025 13:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.400733
• Title: FlexiD-Fuse: Flexible number of inputs multi-modal medical image fusion based on diffusion model
• Title（参考訳）: FlexiD-Fuse:拡散モデルに基づくマルチモーダル医用画像融合のフレキシブル数
• Authors: Yushen Xu, Xiaosong Li, Yuchun Wang, Xiaoqi Cheng, Huafeng Li, Haishu Tan,
• Abstract要約: FlexiD-Fuseは、フレキシブルな量の入力モダリティに対応するために設計された拡散ベースの画像融合ネットワークである。 2モーダルと3モーダルの医療画像融合を同じ重量でエンドツーエンドに処理することができる。 expectation-Maximizationアルゴリズムを拡散サンプリングプロセスに組み込むことで、FlexiD-Fuseは高品質な融合画像を生成することができる。
• 参考スコア（独自算出の注目度）: 17.729495428690107
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Different modalities of medical images provide unique physiological and anatomical information for diseases. Multi-modal medical image fusion integrates useful information from different complementary medical images with different modalities, producing a fused image that comprehensively and objectively reflects lesion characteristics to assist doctors in clinical diagnosis. However, existing fusion methods can only handle a fixed number of modality inputs, such as accepting only two-modal or tri-modal inputs, and cannot directly process varying input quantities, which hinders their application in clinical settings. To tackle this issue, we introduce FlexiD-Fuse, a diffusion-based image fusion network designed to accommodate flexible quantities of input modalities. It can end-to-end process two-modal and tri-modal medical image fusion under the same weight. FlexiD-Fuse transforms the diffusion fusion problem, which supports only fixed-condition inputs, into a maximum likelihood estimation problem based on the diffusion process and hierarchical Bayesian modeling. By incorporating the Expectation-Maximization algorithm into the diffusion sampling iteration process, FlexiD-Fuse can generate high-quality fused images with cross-modal information from source images, independently of the number of input images. We compared the latest two and tri-modal medical image fusion methods, tested them on Harvard datasets, and evaluated them using nine popular metrics. The experimental results show that our method achieves the best performance in medical image fusion with varying inputs. Meanwhile, we conducted extensive extension experiments on infrared-visible, multi-exposure, and multi-focus image fusion tasks with arbitrary numbers, and compared them with the perspective SOTA methods. The results of the extension experiments consistently demonstrate the effectiveness and superiority of our method.
• Abstract（参考訳）: 医学画像の異なるモダリティは、疾患に対するユニークな生理的および解剖学的情報を提供する。 マルチモーダル医療画像融合は、異なる相補的な医療画像から有用な情報を異なるモダリティと統合し、疾患の特徴を包括的かつ客観的に反映した融合画像を生成し、臨床診断における医師の助けとなる。 しかし、既存の融合法では、2モーダルまたは3モーダルの入力のみを受け入れるなど、一定の数のモーダル入力しか処理できないため、様々な入力量を直接処理できないため、臨床現場での応用が妨げられる。 この問題に対処するために、フレキシD-Fuseは、フレキシブルな量の入力モダリティに対応するために設計された拡散ベースの画像融合ネットワークである。 2モーダルと3モーダルの医療画像融合を同じ重量でエンドツーエンドに処理することができる。 FlexiD-Fuseは、固定条件入力のみをサポートする拡散融合問題を、拡散過程と階層ベイズモデルに基づく最大推定問題に変換する。 拡散サンプリング反復プロセスに期待最大化アルゴリズムを組み込むことで、入力画像の数によらず、ソース画像からクロスモーダル情報を持つ高品質の融合画像を生成することができる。 我々は、最新の2つの医用画像融合法を比較し、ハーバードのデータセットでそれらをテストし、9つの人気のある指標を用いて評価した。 実験結果から,本手法は入力の異なる医用画像融合において最高の性能を発揮することが示された。 一方、赤外可視・マルチ露光・多焦点画像融合タスクの広範囲な拡張実験を行い、SOTA法と比較した。 拡張実験の結果は, 本手法の有効性と優位性を一貫して示している。

関連論文リスト

• Latent Drifting in Diffusion Models for Counterfactual Medical Image Synthesis [55.959002385347645]
  遅延ドリフトにより、医療画像に対して拡散モデルを条件付けし、反ファクト画像生成の複雑なタスクに適合させることができる。 我々は,脳MRIと胸部X線による3つの時系列的ベンチマークデータセットを用いて,対物画像生成法について検討した。
  論文  参考訳（メタデータ） (2024-12-30T01:59:34Z)
• Simultaneous Tri-Modal Medical Image Fusion and Super-Resolution using Conditional Diffusion Model [2.507050016527729]
  トリモーダル医療画像融合は、病気の形状、位置、生物学的活動をより包括的に見ることができる。 画像装置の限界や患者の安全への配慮により、医療画像の品質は制限されることが多い。 画像の解像度を向上し、マルチモーダル情報を統合できる技術が緊急に必要である。
  論文  参考訳（メタデータ） (2024-04-26T12:13:41Z)
• Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
  マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。 従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。 本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-10T04:10:56Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
  拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。 近赤外可視画像融合と医用画像融合で有望な融合が得られた。
  論文  参考訳（メタデータ） (2023-03-13T04:06:42Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。