論文の概要: Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency

• arxiv url: http://arxiv.org/abs/2206.10571v1
• Date: Tue, 21 Jun 2022 17:50:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:39:59.425828
• Title: Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency
• Title（参考訳）: 構造化意味的一貫性を学習するマルチモーダル医用画像セグメンテーション
• Authors: Jie Yang, Ruimao Zhang, Chaoqun Wang, Zhen Li, Xiang Wan, Lingyan Zhang
• Abstract要約: マルチモーダルな医用画像に対して,ピクセルレベルのセグメンテーションを改良するための新しい手法を提案する。 本手法は,構造的セマンティック一貫性を学習するために,注意深く設計された外部注意モジュール (EAM) を備えた単一変換器をベースとする。 その結果,提案手法は最先端の手法よりも広いマージンで優れていた。
• 参考スコア（独自算出の注目度）: 27.425982742362983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating multi-modal data to improve medical image analysis has received great attention recently. However, due to the modal discrepancy, how to use a single model to process the data from multiple modalities is still an open issue. In this paper, we propose a novel scheme to achieve better pixel-level segmentation for unpaired multi-modal medical images. Different from previous methods which adopted both modality-specific and modality-shared modules to accommodate the appearance variance of different modalities while extracting the common semantic information, our method is based on a single Transformer with a carefully designed External Attention Module (EAM) to learn the structured semantic consistency (i.e. semantic class representations and their correlations) between modalities in the training phase. In practice, the above-mentioned structured semantic consistency across modalities can be progressively achieved by implementing the consistency regularization at the modality-level and image-level respectively. The proposed EAMs are adopted to learn the semantic consistency for different scale representations and can be discarded once the model is optimized. Therefore, during the testing phase, we only need to maintain one Transformer for all modal predictions, which nicely balances the model's ease of use and simplicity. To demonstrate the effectiveness of the proposed method, we conduct the experiments on two medical image segmentation scenarios: (1) cardiac structure segmentation, and (2) abdominal multi-organ segmentation. Extensive results show that the proposed method outperforms the state-of-the-art methods by a wide margin, and even achieves competitive performance with extremely limited training samples (e.g., 1 or 3 annotated CT or MRI images) for one specific modality.
• Abstract（参考訳）: 医療画像解析を改善するためのマルチモーダルデータの統合が注目されている。 しかし、モーダルな不一致のため、単一モデルを使って複数のモーダルからデータを処理する方法はまだ未解決の問題である。 本稿では,マルチモーダル医用画像の画素レベルセグメンテーションを改善するための新しい手法を提案する。 本手法は, 共通意味情報を抽出しながら, モダリティの相違に対応するために, モダリティ特化モジュールとモダリティ共有モジュールの両方を採用した従来の手法とは異なり, トレーニング段階におけるモダリティ間の構造的セマンティック一貫性(セマンティッククラス表現とその相関関係)を学習するために, 慎重に設計された外部注意モジュール(EAM)を備えた単一トランスフォーマーをベースとした。 実際、上述したモダリティ間の構造的セマンティック一貫性は、それぞれモダリティレベルと画像レベルで整合性正規化を実装することで、徐々に達成できる。 提案したEAMは、異なるスケール表現のセマンティック一貫性を学習するために採用され、モデルが最適化されると破棄される。 したがって、テストフェーズでは、モデルの使いやすさとシンプルさをうまくバランスさせるように、すべてのモーダル予測のために1つのトランスフォーマーを維持するだけでよいのです。 提案手法の有効性を実証するために,(1)心構造セグメント化,(2)腹部多臓器セグメント化の2つの医療画像セグメント化シナリオについて実験を行った。 以上の結果から,提案手法は最先端の手法よりも広いマージンで優れており,特定のモダリティに対して極めて限られたトレーニングサンプル(例:1または3の注記CTやMRI画像)と競合する性能が得られた。

関連論文リスト

• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration [21.97457095780378]
  本稿では,ラベル付きデータの不足やモダリティの不一致に頑健な,新しい半教師付きマルチモーダルセグメンテーションフレームワークを提案する。 本フレームワークでは,各モダリティに固有の,モダリティに依存しない知識を蒸留する,新たなモダリティ協調戦略を採用している。 また、対照的な一貫した学習を統合して解剖学的構造を規制し、ラベルのないデータに対する解剖学的予測アライメントを容易にする。
  論文  参考訳（メタデータ） (2024-08-14T07:34:12Z)
• Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
  Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク 外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
  論文  参考訳（メタデータ） (2024-04-18T00:18:07Z)
• Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
  医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。 半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
  論文  参考訳（メタデータ） (2023-12-26T12:56:31Z)
• Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation with Meta-Learning [17.386754270460273]
  数ショットの医用画像分割のための自己サンプリングメタSAMフレームワークを提案する。 提案手法は,数発のセグメンテーションにおいて最先端の手法よりも大幅に向上する。 そこで本研究では,対話型画像分割における高速なオンライン適応手法を提案する。
  論文  参考訳（メタデータ） (2023-08-31T05:20:48Z)
• A Multi-View Dynamic Fusion Framework: How to Improve the Multimodal Brain Tumor Segmentation from Multi-Views? [5.793853101758628]
  本稿では,脳腫瘍セグメンテーションの性能向上を目的としたマルチビューダイナミックフュージョンフレームワークを提案する。 BRATS 2015とBRATS 2018で提案されたフレームワークを評価することで、マルチビューからの融合結果が単一ビューからのセグメンテーション結果よりも優れたパフォーマンスを達成できることが分かります。
  論文  参考訳（メタデータ） (2020-12-21T09:45:23Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)
• Towards Cross-modality Medical Image Segmentation with Online Mutual Knowledge Distillation [71.89867233426597]
  本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。 モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。 MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
  論文  参考訳（メタデータ） (2020-10-04T10:25:13Z)
• Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
  我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。 提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。 2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-02-06T13:49:47Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。