論文の概要: H2ASeg: Hierarchical Adaptive Interaction and Weighting Network for Tumor Segmentation in PET/CT Images
- arxiv url: http://arxiv.org/abs/2403.18339v2
- Date: Thu, 28 Mar 2024 11:46:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 10:49:40.368922
- Title: H2ASeg: Hierarchical Adaptive Interaction and Weighting Network for Tumor Segmentation in PET/CT Images
- Title（参考訳）: H2ASeg:PET/CT画像における腫瘍分離のための階層的適応的相互作用と重み付けネットワーク
- Authors: Jinpeng Lu, Jingyun Chen, Linghan Cai, Songhan Jiang, Yongbing Zhang,
- Abstract要約: PET(Positron emission tomography)とCT(Computed tomography)の併用は、がんの診断や予後に日常的に用いられている。
従来のマルチモーダルセグメンテーションソリューションは、モダリティ融合の連結演算に依存している。
本稿では,H2ASeg と呼ばれる階層型適応的相互作用と重み付けネットワークを提案する。
- 参考スコア（独自算出の注目度）: 6.753315684414596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Positron emission tomography (PET) combined with computed tomography (CT) imaging is routinely used in cancer diagnosis and prognosis by providing complementary information. Automatically segmenting tumors in PET/CT images can significantly improve examination efficiency. Traditional multi-modal segmentation solutions mainly rely on concatenation operations for modality fusion, which fail to effectively model the non-linear dependencies between PET and CT modalities. Recent studies have investigated various approaches to optimize the fusion of modality-specific features for enhancing joint representations. However, modality-specific encoders used in these methods operate independently, inadequately leveraging the synergistic relationships inherent in PET and CT modalities, for example, the complementarity between semantics and structure. To address these issues, we propose a Hierarchical Adaptive Interaction and Weighting Network termed H2ASeg to explore the intrinsic cross-modal correlations and transfer potential complementary information. Specifically, we design a Modality-Cooperative Spatial Attention (MCSA) module that performs intra- and inter-modal interactions globally and locally. Additionally, a Target-Aware Modality Weighting (TAMW) module is developed to highlight tumor-related features within multi-modal features, thereby refining tumor segmentation. By embedding these modules across different layers, H2ASeg can hierarchically model cross-modal correlations, enabling a nuanced understanding of both semantic and structural tumor features. Extensive experiments demonstrate the superiority of H2ASeg, outperforming state-of-the-art methods on AutoPet-II and Hecktor2022 benchmarks. The code is released at https://github.com/JinPLu/H2ASeg.
- Abstract（参考訳）: PET(Positron emission tomography)とCT(Computed tomography)の併用は、補完情報を提供することで、がんの診断や予後に日常的に用いられている。
PET/CT画像における腫瘍の自動分画は検査効率を著しく向上させる。
従来のマルチモーダルセグメンテーションソリューションは主にモダリティ融合の連結操作に依存しており、PETとCTの非線型依存性を効果的にモデル化することができない。
近年,関節表現の高度化のために,モダリティ特異的な特徴の融合を最適化するための様々な手法が研究されている。
しかし、これらの手法で使用されるモダリティ特異的エンコーダは、PETとCTのモダリティに固有の相乗的関係、例えば意味論と構造の間の相補的関係を不適切に利用して、独立に動作する。
これらの問題に対処するため,H2ASeg という階層型適応的相互作用と重み付けネットワークを提案し,本質的な相互関係を探索し,潜在的な相補的情報を伝達する。
具体的には,モダリティ・コラボレーティブ・スペース・アテンション(MCSA)モジュールを設計し,グローバルかつ局所的にモーダル内およびモーダル間相互作用を行う。
さらに,Target-Aware Modality Weighting (TAMW)モジュールが開発され,マルチモーダル特徴における腫瘍関連特徴が強調され,腫瘍のセグメンテーションが洗練される。
これらのモジュールを異なる層に埋め込むことで、H2ASegは階層的にクロスモーダルな相関をモデル化し、意味的および構造的腫瘍の特徴の微妙な理解を可能にする。
H2ASeg は AutoPet-II と Hecktor2022 ベンチマークにおける最先端の手法よりも優れていた。
コードはhttps://github.com/JinPLu/H2ASegで公開されている。
関連論文リスト
- Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.634579989129392]
本稿では,オミックデータを早期と後期の両方で統合する2重融合フレームワークを提案する。
初期の融合段階では、オミック埋め込みはパッチワイドの潜伏空間に投影され、オミック-WSI埋め込みを生成する。
後期核融合期には、スライドレベルのOmic-WSI埋め込みを融合することにより、オミックデータを再導入する。
論文 参考訳（メタデータ） (2024-11-26T13:25:53Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。
プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-08-11T15:46:00Z) - Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation [5.839660501978193]
PET画像とCT画像の画質は臨床環境で大きく変化しており、ネットワークによって抽出されたモダリティ情報の不確実性につながっている。
本稿では,クロスモーダル・フィーチャーラーニング(CFL)モジュールとマルチモーダル・トラスト・フュージョン(MTF)モジュールからなる新しいマルチモーダル・エビデンシャル・フュージョン・ネットワーク(MEFN)を提案する。
本モデルでは, 自動セグメンテーション結果の受け入れや拒絶の判断において, セグメンテーション結果の確実な不確実性を, 放射線技師に提供することができる。
論文 参考訳（メタデータ） (2024-06-26T13:14:24Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - ISA-Net: Improved spatial attention network for PET-CT tumor
segmentation [22.48294544919023]
多モードポジトロン放射トモグラフィー(PET-CT)に基づく深層学習セグメンテーション法を提案する。
腫瘍検出におけるPETやCTの精度を高めるために,改良された空間注意ネットワーク(ISA-Net)を設計した。
今回提案したISA-Net法を,軟部組織肉腫 (STS) と頭頸部腫瘍 (HECKTOR) の2つの臨床データセットで検証した。
論文 参考訳（メタデータ） (2022-11-04T04:15:13Z) - InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal
Artifact Reduction in CT Images [53.4351366246531]
InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。
異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-12-23T15:52:37Z) - Cross-Modality Brain Tumor Segmentation via Bidirectional
Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。
具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。
提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2021-05-17T10:11:45Z) - Soft Tissue Sarcoma Co-Segmentation in Combined MRI and PET/CT Data [2.2515303891664358]
マルチモーダル医用画像における腫瘍のセグメンテーションは, 深層学習の手法に傾きつつある。
本稿では,モダリティ固有のエンコーダとデコーダのブランチによるマルチモーダル特徴学習を実現する,同時分離手法を提案する。
MRI(T1およびT2配列)とPET/CTスキャンを併用した公衆軟部肉腫データに対するアプローチの有効性を示した。
論文 参考訳（メタデータ） (2020-08-28T09:15:42Z) - Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung
Tumor Segmentation [11.622615048002567]
マルチモーダル空間アテンションモジュール(MSAM)は腫瘍に関連する領域を強調することを学ぶ。
MSAMは一般的なバックボーンアーキテクチャやトレーニングされたエンドツーエンドに適用できる。
論文 参考訳（メタデータ） (2020-07-29T10:27:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。