論文の概要: Three-Dimensional Medical Image Fusion with Deformable Cross-Attention
- arxiv url: http://arxiv.org/abs/2310.06291v1
- Date: Tue, 10 Oct 2023 04:10:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 01:55:52.409320
- Title: Three-Dimensional Medical Image Fusion with Deformable Cross-Attention
- Title(参考訳): 変形可能なクロスアテンションを有する三次元医用画像融合
- Authors: Lin Liu, Xinxin Fan, Chulong Zhang, Jingjing Dai, Yaoqin Xie, Xiaokun
Liang
- Abstract要約: マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
- 参考スコア(独自算出の注目度): 10.26573411162757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal medical image fusion plays an instrumental role in several areas
of medical image processing, particularly in disease recognition and tumor
detection. Traditional fusion methods tend to process each modality
independently before combining the features and reconstructing the fusion
image. However, this approach often neglects the fundamental commonalities and
disparities between multimodal information. Furthermore, the prevailing
methodologies are largely confined to fusing two-dimensional (2D) medical image
slices, leading to a lack of contextual supervision in the fusion images and
subsequently, a decreased information yield for physicians relative to
three-dimensional (3D) images. In this study, we introduce an innovative
unsupervised feature mutual learning fusion network designed to rectify these
limitations. Our approach incorporates a Deformable Cross Feature Blend (DCFB)
module that facilitates the dual modalities in discerning their respective
similarities and differences. We have applied our model to the fusion of 3D MRI
and PET images obtained from 660 patients in the Alzheimer's Disease
Neuroimaging Initiative (ADNI) dataset. Through the application of the DCFB
module, our network generates high-quality MRI-PET fusion images. Experimental
results demonstrate that our method surpasses traditional 2D image fusion
methods in performance metrics such as Peak Signal to Noise Ratio (PSNR) and
Structural Similarity Index Measure (SSIM). Importantly, the capacity of our
method to fuse 3D images enhances the information available to physicians and
researchers, thus marking a significant step forward in the field. The code
will soon be available online.
- Abstract(参考訳): マルチモーダル医療画像融合は、医療画像処理のいくつかの領域、特に疾患の認識と腫瘍検出において重要な役割を果たす。
従来の融合法は、特徴を組み合わせて融合画像を再構成する前に、各モードを独立して処理する傾向がある。
しかしながら、このアプローチは、しばしばマルチモーダル情報間の基本的な共通性と相違を無視する。
さらに, 2次元(2次元)の医用画像スライスを融合させることが主流であり, 融合画像における文脈的監督の欠如, そして, 3次元(3次元)画像に対する医師の情報収率の低下につながっている。
本研究では,これらの制限を是正するための,革新的な非教師付き相互学習融合ネットワークを提案する。
提案手法は変形可能なクロス特徴ブレンド (DCFB) モジュールを組み込んで, それぞれの類似点と相違点を識別する。
我々は,アルツハイマー病神経画像イニシアチブ(ADNI)データセットの660例から得られた3D MRIとPET画像の融合に本モデルを適用した。
DCFBモジュールの適用により,我々のネットワークは高品質なMRI-PET融合画像を生成する。
実験の結果,Pak Signal to Noise Ratio (PSNR) やStructuor similarity Index Measure (SSIM) など,従来の2次元画像融合手法よりも優れていることがわかった。
重要なことは、3D画像の融合能力は、医師や研究者が利用できる情報を高め、この分野において重要な一歩を踏み出したことである。
コードはまもなくオンラインで入手できる。
関連論文リスト
- SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳(メタデータ) (2023-10-18T11:29:53Z) - Diffusion Models for Counterfactual Generation and Anomaly Detection in
Brain Images [59.85702949046042]
病気の画像の健全なバージョンを生成し,それを用いて画素単位の異常マップを得るための弱教師付き手法を提案する。
健常者を対象にした拡散モデルを用いて, サンプリングプロセスの各ステップで拡散拡散確率モデル (DDPM) と拡散拡散確率モデル (DDIM) を組み合わせる。
本手法が正常なサンプルに適用された場合,入力画像は大幅な修正を伴わずに再構成されることを確認した。
論文 参考訳(メタデータ) (2023-08-03T21:56:50Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Equivariant Multi-Modality Image Fusion [142.84362457655516]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然像が特定の変換に等しくなるという以前の知識に基づいている。
実験により,赤外可視画像と医用画像の両方に対して高品質な融合結果が得られた。
論文 参考訳(メタデータ) (2023-05-19T05:50:24Z) - An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳(メタデータ) (2022-12-09T04:19:43Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳(メタデータ) (2022-09-15T03:58:30Z) - Multimodal Information Fusion for Glaucoma and DR Classification [1.5616442980374279]
複数の情報源からの情報を組み合わせることで、臨床医はより正確な判断をすることができる。
本稿では,網膜解析の課題を解決するために,ディープラーニングに基づく3つのマルチモーダル情報融合戦略について検討する。
論文 参考訳(メタデータ) (2022-09-02T12:19:03Z) - Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging
Computer-aided Diagnosis [4.657804635843888]
マルチモーダル3次元医用画像分類(MMNet)のための新しい相互注意型ハイブリッド次元ネットワークを提案する。
ハイブリッド次元ネットワークは2D CNNと3D畳み込みモジュールを統合し、より深くより情報的な特徴マップを生成する。
さらに,画像モダリティの異なる類似の立体視領域において,各領域の整合性を構築するために,ネットワーク内の相互注意フレームワークを設計する。
論文 参考訳(メタデータ) (2022-01-24T02:31:25Z) - Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。
本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
論文 参考訳(メタデータ) (2021-02-17T09:13:28Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳(メタデータ) (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。