論文の概要: Edge-Enhanced Dilated Residual Attention Network for Multimodal Medical Image Fusion
- arxiv url: http://arxiv.org/abs/2411.11799v1
- Date: Mon, 18 Nov 2024 18:11:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:34:26.886140
- Title: Edge-Enhanced Dilated Residual Attention Network for Multimodal Medical Image Fusion
- Title（参考訳）: マルチモーダル医用画像融合のためのエッジ強化型拡張残差注意ネットワーク
- Authors: Meng Zhou, Yuxuan Zhang, Xiaolan Xu, Jiayi Wang, Farzad Khalvati,
- Abstract要約: マルチモーダル・メディカル・イメージ・フュージョン(Multimodal Medical Image fusion)は、様々な画像モダリティからの相補的な情報を統一的な表現に結合する重要なタスクである。
深層学習手法は融合性能が著しく向上しているが、既存のCNNベースの手法では、微細なマルチスケールとエッジの特徴を捉えるには不十分である。
マルチスケール機能抽出のためのDilated Residual Attention Network Moduleを導入することで,これらの制約に対処する新しいCNNアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 13.029564509505676
- License:
- Abstract: Multimodal medical image fusion is a crucial task that combines complementary information from different imaging modalities into a unified representation, thereby enhancing diagnostic accuracy and treatment planning. While deep learning methods, particularly Convolutional Neural Networks (CNNs) and Transformers, have significantly advanced fusion performance, some of the existing CNN-based methods fall short in capturing fine-grained multiscale and edge features, leading to suboptimal feature integration. Transformer-based models, on the other hand, are computationally intensive in both the training and fusion stages, making them impractical for real-time clinical use. Moreover, the clinical application of fused images remains unexplored. In this paper, we propose a novel CNN-based architecture that addresses these limitations by introducing a Dilated Residual Attention Network Module for effective multiscale feature extraction, coupled with a gradient operator to enhance edge detail learning. To ensure fast and efficient fusion, we present a parameter-free fusion strategy based on the weighted nuclear norm of softmax, which requires no additional computations during training or inference. Extensive experiments, including a downstream brain tumor classification task, demonstrate that our approach outperforms various baseline methods in terms of visual quality, texture preservation, and fusion speed, making it a possible practical solution for real-world clinical applications. The code will be released at https://github.com/simonZhou86/en_dran.
- Abstract（参考訳）: マルチモーダル医用画像融合は、異なる画像モダリティからの補完情報を統一表現に組み合わせ、診断精度と治療計画を向上させる重要な課題である。
ディープラーニングメソッド、特に畳み込みニューラルネットワーク(CNN)とトランスフォーマーは、大幅に高度な融合性能を持つが、既存のCNNベースのメソッドは、きめ細かなマルチスケールとエッジの特徴を捉えるのに不足している。
一方、トランスフォーマーベースのモデルは、トレーニングと融合段階の両方で計算的に集中しており、リアルタイムの臨床利用には実用的ではない。
また, 融合画像の臨床応用は未検討である。
本稿では,これらの制約に対処する新しいCNNアーキテクチャを提案する。エッジディテール学習を強化するためのグラデーション演算子と組み合わせて,効率的なマルチスケール特徴抽出のためのDilated Residual Attention Network Moduleを導入する。
高速かつ効率的な核融合を実現するため,ソフトマックスの重み付けされた核ノルムに基づくパラメータフリー核融合戦略を提案する。
下流脳腫瘍分類タスクを含む広範囲な実験により, 視覚的品質, テクスチャ保存, 融合速度の点で, 様々な基礎的手法よりも優れていることが示され, 現実の臨床応用に有効である可能性が示唆された。
コードはhttps://github.com/simonZhou86/en_dran.comでリリースされる。
関連論文リスト
- TransResNet: Integrating the Strengths of ViTs and CNNs for High Resolution Medical Image Segmentation via Feature Grafting [6.987177704136503]
医用画像領域で高解像度画像が好ましいのは、基礎となる方法の診断能力を大幅に向上させるためである。
医用画像セグメンテーションのための既存のディープラーニング技術のほとんどは、空間次元が小さい入力画像に最適化されており、高解像度画像では不十分である。
我々はTransResNetという並列処理アーキテクチャを提案し、TransformerとCNNを並列的に組み合わせ、マルチ解像度画像から特徴を独立して抽出する。
論文 参考訳（メタデータ） (2024-10-01T18:22:34Z) - TBConvL-Net: A Hybrid Deep Learning Architecture for Robust Medical Image Segmentation [6.013821375459473]
医用画像セグメンテーションのための新しいディープラーニングアーキテクチャを提案する。
提案モデルでは,10の公開データセット上でのテクニックの現状に対して,一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-09-05T09:14:03Z) - Application of Multimodal Fusion Deep Learning Model in Disease Recognition [14.655086303102575]
本稿では,従来の単一モーダル認識手法の欠点を克服する,革新的なマルチモーダル融合深層学習手法を提案する。
特徴抽出段階では、画像ベース、時間的、構造化されたデータソースから高度な特徴を抽出するために最先端のディープラーニングモデルを適用する。
その結果, マルチモーダル融合モデルにおいて, 複数の評価指標にまたがる大きな利点が示された。
論文 参考訳（メタデータ） (2024-05-22T23:09:49Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳（メタデータ） (2022-12-09T04:19:43Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal
Artifact Reduction in CT Images [53.4351366246531]
InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。
異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-12-23T15:52:37Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。