論文の概要: MulModSeg: Enhancing Unpaired Multi-Modal Medical Image Segmentation with Modality-Conditioned Text Embedding and Alternating Training

• arxiv url: http://arxiv.org/abs/2411.15576v1
• Date: Sat, 23 Nov 2024 14:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:19:12.567655
• Title: MulModSeg: Enhancing Unpaired Multi-Modal Medical Image Segmentation with Modality-Conditioned Text Embedding and Alternating Training
• Title（参考訳）: MulModSeg: モダリティを付加したテキスト埋め込みと代替トレーニングによるマルチモーダル医用画像セグメンテーションの実現
• Authors: Chengyin Li, Hui Zhu, Rafi Ibn Sultan, Hassan Bagher Ebadian, Prashant Khanduri, Chetty Indrin, Kundan Thind, Dongxiao Zhu,
• Abstract要約: マルチモーダル(MulModSeg)戦略を提案する。 MulModSegは、凍結されたテキストエンコーダを介して、モダリティ条件付きテキスト埋め込みフレームワークを組み込んでいる。 腹部多臓器および心室サブ構造をCTとMRの両方で分画する従来の方法より一貫して優れていた。
• 参考スコア（独自算出の注目度）: 10.558275557142137
• License:
• Abstract: In the diverse field of medical imaging, automatic segmentation has numerous applications and must handle a wide variety of input domains, such as different types of Computed Tomography (CT) scans and Magnetic Resonance (MR) images. This heterogeneity challenges automatic segmentation algorithms to maintain consistent performance across different modalities due to the requirement for spatially aligned and paired images. Typically, segmentation models are trained using a single modality, which limits their ability to generalize to other types of input data without employing transfer learning techniques. Additionally, leveraging complementary information from different modalities to enhance segmentation precision often necessitates substantial modifications to popular encoder-decoder designs, such as introducing multiple branched encoding or decoding paths for each modality. In this work, we propose a simple Multi-Modal Segmentation (MulModSeg) strategy to enhance medical image segmentation across multiple modalities, specifically CT and MR. It incorporates two key designs: a modality-conditioned text embedding framework via a frozen text encoder that adds modality awareness to existing segmentation frameworks without significant structural modifications or computational overhead, and an alternating training procedure that facilitates the integration of essential features from unpaired CT and MR inputs. Through extensive experiments with both Fully Convolutional Network and Transformer-based backbones, MulModSeg consistently outperforms previous methods in segmenting abdominal multi-organ and cardiac substructures for both CT and MR modalities. The code is available in this {\href{https://github.com/ChengyinLee/MulModSeg_2024}{link}}.
• Abstract（参考訳）: 医療画像の多種多様な分野において、自動セグメンテーションは多くの応用があり、CTスキャンやMR画像などの様々な入力領域を扱う必要がある。 この不均一性は、空間的整列とペア画像の要求により、異なるモダリティ間で一貫した性能を維持するために自動セグメンテーションアルゴリズムに挑戦する。 通常、セグメンテーションモデルは単一のモダリティを用いて訓練され、転送学習技術を用いずに他のタイプの入力データに一般化する能力を制限する。 さらに、様々なモダリティから補完的な情報を活用してセグメンテーションの精度を高めるためには、各モダリティに対して複数の分岐符号化やデコードパスを導入するなど、一般的なエンコーダ・デコーダ設計への大幅な変更が必要となることが多い。 本研究では, マルチモーダル・セグメンテーション(MulModSeg)戦略を提案し, マルチモーダル・セグメンテーション(MulModSeg, MulModSeg, MulModSeg, MulModSeg) と, マルチモーダル・セグメンテーション(MulModSeg, MulModSeg) と, マルチモーダル・セグメンテーション(MulModSeg, MulModSeg, MulModSeg, MulModSeg) の2つの重要な設計を取り入れた。 フル・コンボリューショナル・ネットワークとトランスフォーマーベースのバックボーンによる広範な実験により、MulModSegは、CTとMRの両方のサブストラクチャーにおいて、腹部の多臓器と心臓のサブストラクチャのセグメンテーションにおいて、従来方法よりも一貫して優れていた。 コードは this {\href{https://github.com/ChengyinLee/MulModSeg_2024}{link}} で公開されている。

関連論文リスト

• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• A Simple and Robust Framework for Cross-Modality Medical Image Segmentation applied to Vision Transformers [0.0]
  単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。 本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-09T09:51:44Z)
• M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation [73.10707675345253]
  医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。 本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2023-03-20T06:26:49Z)
• NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation [29.157465321864265]
  そこで我々は,Nested Modality-Aware Transformer (NestedFormer) を提案する。 変換器をベースとしたマルチエンコーダと単一デコーダ構造に基づいて,異なるモードの高レベル表現に対してネストしたマルチモーダル融合を行う。
  論文  参考訳（メタデータ） (2022-08-31T14:04:25Z)
• mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation [38.22852533584288]
  3つの主要要素を持つ不完全なマルチモーダル学習のための新しい医療変換器(mmFormer)を提案する。 提案した mmFormer は, ほぼすべての不完全様相のサブセット上で, 不完全多モード脳腫瘍のセグメント化の最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-06T08:41:56Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
  本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。 具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。 提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-05-17T10:11:45Z)
• TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation [78.01570371790669]
  医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。 様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。 医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
  論文  参考訳（メタデータ） (2021-02-08T16:10:50Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。