論文の概要: XLSTM-HVED: Cross-Modal Brain Tumor Segmentation and MRI Reconstruction Method Using Vision XLSTM and Heteromodal Variational Encoder-Decoder
- arxiv url: http://arxiv.org/abs/2412.07804v2
- Date: Fri, 03 Jan 2025 05:22:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-06 14:47:15.044409
- Title: XLSTM-HVED: Cross-Modal Brain Tumor Segmentation and MRI Reconstruction Method Using Vision XLSTM and Heteromodal Variational Encoder-Decoder
- Title(参考訳): XLSTM-HVED: Vision XLSTM と Heteromodal Variational Encoder-Decoder を用いた横断型脳腫瘍分割とMRI再構成法
- Authors: Shenghao Zhu, Yifei Chen, Shuo Jiang, Weihong Chen, Chang Liu, Yuanhan Wang, Xu Chen, Yifan Ke, Feiwei Qin, Changmiao Wang, Zhu Zhu,
- Abstract要約: 我々は,XLSTM-HVEDモデルを導入し,ヘテロモーダルエンコーダ・デコーダ・フレームワークをVision XLSTMモジュールと統合し,欠落したMRIモダリティを再構築する。
このアプローチの主な革新は、モーダル機能の統合を改善する自己意識変動(SAVE)モジュールである。
BraTS 2024データセットを用いた実験では、モダリティが欠落している場合の処理において、既存の先進的手法を著しく上回ります。
- 参考スコア(独自算出の注目度): 9.141615533517719
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neurogliomas are among the most aggressive forms of cancer, presenting considerable challenges in both treatment and monitoring due to their unpredictable biological behavior. Magnetic resonance imaging (MRI) is currently the preferred method for diagnosing and monitoring gliomas. However, the lack of specific imaging techniques often compromises the accuracy of tumor segmentation during the imaging process. To address this issue, we introduce the XLSTM-HVED model. This model integrates a hetero-modal encoder-decoder framework with the Vision XLSTM module to reconstruct missing MRI modalities. By deeply fusing spatial and temporal features, it enhances tumor segmentation performance. The key innovation of our approach is the Self-Attention Variational Encoder (SAVE) module, which improves the integration of modal features. Additionally, it optimizes the interaction of features between segmentation and reconstruction tasks through the Squeeze-Fusion-Excitation Cross Awareness (SFECA) module. Our experiments using the BraTS 2024 dataset demonstrate that our model significantly outperforms existing advanced methods in handling cases where modalities are missing. Our source code is available at https://github.com/Quanato607/XLSTM-HVED.
- Abstract(参考訳): 神経グリオーマは最も攻撃的ながんの1つであり、予測不可能な生物学的行動のために治療とモニタリングの両方に重大な課題を呈している。
磁気共鳴画像(MRI)は現在、グリオーマの診断とモニタリングの方法として好まれている。
しかし、特定のイメージング技術が欠如しているため、画像中の腫瘍のセグメンテーションの精度を損なうことがしばしばある。
この問題に対処するため,XLSTM-HVEDモデルを提案する。
このモデルは、ヘテロモーダルエンコーダ・デコーダ・フレームワークをVision XLSTMモジュールと統合し、欠落したMRIモダリティを再構築する。
空間的特徴と時間的特徴を深く融合させることで、腫瘍セグメンテーション性能を高める。
このアプローチの重要な革新は、モーダル機能の統合を改善する自己注意変分エンコーダ(SAVE)モジュールである。
さらに、Squeeze-Fusion-Excitation Cross Awareness (SFECA)モジュールを通じてセグメンテーションと再構築タスクの相互作用を最適化する。
BraTS 2024データセットを用いた実験では、モダリティが欠落している場合の処理において、既存の先進的手法を著しく上回ります。
ソースコードはhttps://github.com/Quanato607/XLSTM-HVEDで公開されています。
関連論文リスト
- Multi-modal Contrastive Learning for Tumor-specific Missing Modality Synthesis [1.4132765964347058]
臨床環境での高品質なマルチモーダルMRIは、時間的制約、高コスト、患者の運動アーチファクトが原因で困難である。
PLAVEは,腫瘍領域に焦点をあてたマルチモーダルコントラスト学習を統合したMRIの再生モデルを構築した。
脳MR画像合成の課題で得られた結果は、提案モデルが欠落したモダリティを生成するのに優れていることを示している。
論文 参考訳(メタデータ) (2025-02-26T18:34:58Z) - PINN-EMFNet: PINN-based and Enhanced Multi-Scale Feature Fusion Network for Breast Ultrasound Images Segmentation [5.246262946799736]
本研究では,PINNに基づくマルチスケール機能融合ネットワークを提案する。
ネットワークは、いくつかの構造的革新を通じて、効率的に統合し、グローバルにマルチスケールの機能をモデル化する。
このデコーダ部では,マルチスケール・フィーチャー・リファインメント・デコーダが採用され,マルチスケール・スーパービジョン機構と修正モジュールを組み合わせることで,セグメンテーション精度と適応性を大幅に向上する。
論文 参考訳(メタデータ) (2024-12-22T09:16:00Z) - Enhanced MRI Representation via Cross-series Masking [48.09478307927716]
自己教師型でMRI表現を効果的に学習するためのクロスシリーズ・マスキング(CSM)戦略
メソッドは、パブリックデータセットと社内データセットの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-12-10T10:32:09Z) - MRGen: Segmentation Data Engine For Underrepresented MRI Modalities [59.61465292965639]
稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。
本稿では、生成モデルを利用してトレーニングデータを合成し、未表現のモダリティに対するセグメンテーションモデルを訓練する。
論文 参考訳(メタデータ) (2024-12-04T16:34:22Z) - A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳(メタデータ) (2024-10-05T20:03:57Z) - Prototype Learning Guided Hybrid Network for Breast Tumor Segmentation in DCE-MRI [58.809276442508256]
本稿では,畳み込みニューラルネットワーク(CNN)とトランスフォーマー層を組み合わせたハイブリッドネットワークを提案する。
プライベートおよびパブリックなDCE-MRIデータセットの実験結果から,提案したハイブリッドネットワークは最先端の手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-08-11T15:46:00Z) - xLSTM-UNet can be an Effective 2D & 3D Medical Image Segmentation Backbone with Vision-LSTM (ViL) better than its Mamba Counterpart [13.812935743270517]
医用画像セグメンテーションのバックボーンとしてVision-LSTM(xLSTM)を利用するUNet構造化ディープラーニングニューラルネットワークであるxLSTM-UNetを提案する。
xLSTMはLong Short-Term Memory (LSTM) ネットワークの後継として最近提案された。
以上の結果から,XLSTM-UNetはCNNベース,Transformerベース,およびMambaベースセグメンテーションネットワークの性能を一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2024-07-01T17:59:54Z) - Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。
本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。
微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
論文 参考訳(メタデータ) (2024-06-12T20:35:16Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - Improve Cross-Modality Segmentation by Treating MRI Images as Inverted CT Scans [0.4867169878981935]
簡単な画像インバージョン手法により,MRIデータ上でのCTセグメント化モデルのセグメンテーション品質を大幅に向上できることを示す。
イメージインバージョンは実装が簡単で、専用のグラフィックス処理ユニット(GPU)を必要としない
論文 参考訳(メタデータ) (2024-05-04T14:02:52Z) - Disentangled Multimodal Brain MR Image Translation via Transformer-based
Modality Infuser [12.402947207350394]
マルチモーダル脳MR画像の合成を目的としたトランスフォーマーを用いたモダリティインジェクタを提案する。
本手法では,エンコーダからモダリティに依存しない特徴を抽出し,その特徴をモダリティ固有の特徴に変換する。
われわれはBraTS 2018データセットで4つのMRモードを変換する実験を行った。
論文 参考訳(メタデータ) (2024-02-01T06:34:35Z) - CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with
Modality-Correlated Cross-Attention for Brain Tumor Segmentation [37.39921484146194]
磁気共鳴画像(MRI)における脳腫瘍のセグメンテーションは、脳腫瘍の診断、癌管理、研究目的に不可欠である。
10年にわたるBraTSチャレンジの成功により、様々な技術的側面においてBTSの難しさに取り組むために、多くの優れたBTSモデルが提案されている。
CKD-TransBTSと呼ばれる臨床知識駆動型脳腫瘍分節モデルを提案する。
論文 参考訳(メタデータ) (2022-07-15T09:35:29Z) - Negligible effect of brain MRI data preprocessing for tumor segmentation [36.89606202543839]
我々は3つの公開データセットの実験を行い、ディープニューラルネットワークにおける異なる前処理ステップの効果を評価する。
その結果、最も一般的な標準化手順は、ネットワーク性能に何の価値も与えないことが示されている。
画像の規格化に伴う信号分散の低減のため,画像強度正規化手法はモデル精度に寄与しない。
論文 参考訳(メタデータ) (2022-04-11T17:29:36Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳(メタデータ) (2021-07-07T19:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。