論文の概要: Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation
- arxiv url: http://arxiv.org/abs/2406.18327v1
- Date: Wed, 26 Jun 2024 13:14:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 13:29:21.668797
- Title: Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation
- Title(参考訳): PET/CT腫瘍分離のためのマルチモーダル・エビデンシャル・フュージョンネットワーク
- Authors: Yuxuan Qi, Li Lin, Jiajun Wang, Jingya Zhang, Bin Zhang,
- Abstract要約: PET画像とCT画像の画質は臨床環境で大きく変化しており、ネットワークによって抽出されたモダリティ情報の不確実性につながっている。
本稿では,クロスモーダル・フィーチャーラーニング(CFL)モジュールとマルチモーダル・トラスト・フュージョン(MTF)モジュールからなる新しいマルチモーダル・エビデンシャル・フュージョン・ネットワーク(MEFN)を提案する。
本モデルでは, 自動セグメンテーション結果の受け入れや拒絶の判断において, セグメンテーション結果の確実な不確実性を, 放射線技師に提供することができる。
- 参考スコア(独自算出の注目度): 5.839660501978193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate segmentation of tumors in PET/CT images is important in computer-aided diagnosis and treatment of cancer. The key issue of such a segmentation problem lies in the effective integration of complementary information from PET and CT images. However, the quality of PET and CT images varies widely in clinical settings, which leads to uncertainty in the modality information extracted by networks. To take the uncertainty into account in multi-modal information fusion, this paper proposes a novel Multi-modal Evidential Fusion Network (MEFN) comprising a Cross-Modal Feature Learning (CFL) module and a Multi-modal Trusted Fusion (MTF) module. The CFL module reduces the domain gap upon modality conversion and highlights common tumor features, thereby alleviating the needs of the segmentation module to handle modality specificity. The MTF module utilizes mutual attention mechanisms and an uncertainty calibrator to fuse modality features based on modality uncertainty and then fuse the segmentation results under the guidance of Dempster-Shafer Theory. Besides, a new uncertainty perceptual loss is introduced to force the model focusing on uncertain features and hence improve its ability to extract trusted modality information. Extensive comparative experiments are conducted on two publicly available PET/CT datasets to evaluate the performance of our proposed method whose results demonstrate that our MEFN significantly outperforms state-of-the-art methods with improvements of 2.15% and 3.23% in DSC scores on the AutoPET dataset and the Hecktor dataset, respectively. More importantly, our model can provide radiologists with credible uncertainty of the segmentation results for their decision in accepting or rejecting the automatic segmentation results, which is particularly important for clinical applications. Our code will be available at https://github.com/QPaws/MEFN.
- Abstract(参考訳): PET/CT画像における腫瘍の正確なセグメンテーションは、コンピュータ支援によるがんの診断と治療において重要である。
このようなセグメンテーション問題の鍵となる問題は、PETおよびCT画像からの補完情報を効果的に統合することにある。
しかし,PET画像とCT画像の画質は臨床環境によって大きく変化しており,ネットワークによって抽出されたモダリティ情報の不確実性が生じる。
マルチモーダル情報融合における不確実性を考慮するために,クロスモーダル・フィーチャーラーニング(CFL)モジュールとマルチモーダル・トラスト・フュージョン(MTF)モジュールからなる新しいマルチモーダル・エビデンシャル・フュージョン・ネットワーク(MEFN)を提案する。
CFLモジュールは、モダリティ変換時のドメインギャップを減らし、共通の腫瘍の特徴を強調し、モダリティ特異性を扱うためのセグメンテーションモジュールの必要性を軽減する。
MTFモジュールは、相互注意機構と不確実性校正器を利用して、モダリティの不確実性に基づいてモダリティ特徴を融合し、デプスター・シェーファー理論の指導の下でセグメンテーション結果を融合する。
さらに、不確実性に着目したモデルに新たな不確実性知覚損失を導入し、信頼されたモダリティ情報を抽出する能力を向上させる。
提案手法の有効性を評価するために,2つの一般公開PET/CTデータセットを用いて大規模な比較実験を行い,その結果から,AutoPETデータセットとHecktorデータセットのDSCスコアが2.15%,3.23%向上し,MEFNは最先端手法を著しく上回っていることが示された。
さらに, 臨床応用において特に重要な自動セグメンテーション結果の受け入れ, 拒絶の決定に対するセグメンテーション結果の不確かさを, 放射線科医に提供することができる。
私たちのコードはhttps://github.com/QPaws/MEFN.comで公開されます。
関連論文リスト
- H2ASeg: Hierarchical Adaptive Interaction and Weighting Network for Tumor Segmentation in PET/CT Images [6.753315684414596]
PET(Positron emission tomography)とCT(Computed tomography)の併用は、がんの診断や予後に日常的に用いられている。
従来のマルチモーダルセグメンテーションソリューションは、モダリティ融合の連結演算に依存している。
本稿では,H2ASeg と呼ばれる階層型適応的相互作用と重み付けネットワークを提案する。
論文 参考訳(メタデータ) (2024-03-27T08:28:14Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳(メタデータ) (2024-01-17T07:54:49Z) - Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine
PET Reconstruction [62.29541106695824]
本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。
計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。
2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
論文 参考訳(メタデータ) (2023-08-20T04:10:36Z) - Reliable Joint Segmentation of Retinal Edema Lesions in OCT Images [55.83984261827332]
本稿では,信頼性の高いマルチスケールウェーブレットエンハンストランスネットワークを提案する。
本研究では,ウェーブレット型特徴抽出器ネットワークとマルチスケール変圧器モジュールを統合したセグメンテーションバックボーンを開発した。
提案手法は,他の最先端セグメンテーション手法と比較して信頼性の高いセグメンテーション精度を実現する。
論文 参考訳(メタデータ) (2022-12-01T07:32:56Z) - ISA-Net: Improved spatial attention network for PET-CT tumor
segmentation [22.48294544919023]
多モードポジトロン放射トモグラフィー(PET-CT)に基づく深層学習セグメンテーション法を提案する。
腫瘍検出におけるPETやCTの精度を高めるために,改良された空間注意ネットワーク(ISA-Net)を設計した。
今回提案したISA-Net法を,軟部組織肉腫 (STS) と頭頸部腫瘍 (HECKTOR) の2つの臨床データセットで検証した。
論文 参考訳(メタデータ) (2022-11-04T04:15:13Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Deep PET/CT fusion with Dempster-Shafer theory for lymphoma segmentation [17.623576885481747]
PET/CTボリュームからのリンパ腫の検出とセグメンテーションは外科的適応と放射線治療に不可欠である。
PET/CT融合層を有するUNetを用いた悪性リンパ腫のセグメンテーションモデルを提案する。
Diceスコア0.726で正確なセグメンテーション結果を得る。
論文 参考訳(メタデータ) (2021-08-11T19:24:40Z) - Cross-Modality Brain Tumor Segmentation via Bidirectional
Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。
具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。
提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
論文 参考訳(メタデータ) (2021-05-17T10:11:45Z) - Evidential segmentation of 3D PET/CT images [20.65495780362289]
3D PET/CT画像におけるリンパ腫のセグメント化には、信念関数に基づくセグメンテーション法が提案されている。
アーキテクチャは特徴抽出モジュールと明白なセグメンテーション(ES)モジュールで構成されている。
びまん性大細胞性b細胞リンパ腫173例のデータベース上で評価した。
論文 参考訳(メタデータ) (2021-04-27T16:06:27Z) - Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung
Tumor Segmentation [11.622615048002567]
マルチモーダル空間アテンションモジュール(MSAM)は腫瘍に関連する領域を強調することを学ぶ。
MSAMは一般的なバックボーンアーキテクチャやトレーニングされたエンドツーエンドに適用できる。
論文 参考訳(メタデータ) (2020-07-29T10:27:22Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。