論文の概要: Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
- arxiv url: http://arxiv.org/abs/2408.07341v2
- Date: Wed, 4 Sep 2024 03:22:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 19:18:56.593730
- Title: Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
- Title（参考訳）: クロスモーダルコラボレーションによるロバスト半監督型マルチモーダル医用画像分割
- Authors: Xiaogen Zhou, Yiyou Sun, Min Deng, Winnie Chiu Wing Chu, Qi Dou,
- Abstract要約: 本稿では,ラベル付きデータの不足やモダリティの不一致に頑健な,新しい半教師付きマルチモーダルセグメンテーションフレームワークを提案する。
本フレームワークでは,各モダリティに固有の,モダリティに依存しない知識を蒸留する,新たなモダリティ協調戦略を採用している。
また、対照的な一貫した学習を統合して解剖学的構造を規制し、ラベルのないデータに対する解剖学的予測アライメントを容易にする。
- 参考スコア（独自算出の注目度）: 21.97457095780378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal learning leverages complementary information derived from different modalities, thereby enhancing performance in medical image segmentation. However, prevailing multimodal learning methods heavily rely on extensive well-annotated data from various modalities to achieve accurate segmentation performance. This dependence often poses a challenge in clinical settings due to limited availability of such data. Moreover, the inherent anatomical misalignment between different imaging modalities further complicates the endeavor to enhance segmentation performance. To address this problem, we propose a novel semi-supervised multimodal segmentation framework that is robust to scarce labeled data and misaligned modalities. Our framework employs a novel cross modality collaboration strategy to distill modality-independent knowledge, which is inherently associated with each modality, and integrates this information into a unified fusion layer for feature amalgamation. With a channel-wise semantic consistency loss, our framework ensures alignment of modality-independent information from a feature-wise perspective across modalities, thereby fortifying it against misalignments in multimodal scenarios. Furthermore, our framework effectively integrates contrastive consistent learning to regulate anatomical structures, facilitating anatomical-wise prediction alignment on unlabeled data in semi-supervised segmentation tasks. Our method achieves competitive performance compared to other multimodal methods across three tasks: cardiac, abdominal multi-organ, and thyroid-associated orbitopathy segmentations. It also demonstrates outstanding robustness in scenarios involving scarce labeled data and misaligned modalities.
- Abstract（参考訳）: マルチモーダル学習は、異なるモーダルから派生した補完情報を活用し、医用画像セグメンテーションの性能を向上させる。
しかし,従来のマルチモーダル学習手法は,精度の高いセグメンテーション性能を実現するために,様々なモダリティからの十分な注釈付きデータに大きく依存している。
この依存は、そのようなデータの入手が限られているため、臨床環境においてしばしば課題となる。
さらに、異なる画像モダリティ間の固有の解剖学的ミスアライメントは、セグメンテーション性能を高めるためにさらに努力を複雑にする。
この問題に対処するために,ラベル付きデータが少なく,不整合性も少ない,半教師付きマルチモーダルセグメンテーションフレームワークを提案する。
本フレームワークでは,各モダリティに固有のモダリティ非依存の知識を蒸留するために,新しいクロスモーダル協調戦略を採用し,この情報を統合融合層に統合して特徴量アマルガメーションを実現する。
チャネルワイドなセマンティックな一貫性の喪失により、我々のフレームワークは、モダリティを横断する機能的な視点から、モダリティに依存しない情報のアライメントを保証し、マルチモーダルなシナリオにおけるミスアライメントを防ぎます。
さらに,本フレームワークは,半教師付きセグメンテーションタスクにおいて,非ラベルデータに対する解剖学的予測アライメントを容易にし,解剖学的構造を制御するためのコントラスト的一貫した学習を効果的に統合する。
本手法は, 心臓, 腹部多臓器, 甲状腺関連眼窩病の3つの課題にまたがる他のマルチモーダル法と比較して, 競合性能が向上する。
また、ラベル付きデータの不足やモダリティの不一致といったシナリオにおいて、顕著な堅牢性を示す。
関連論文リスト
- ICH-SCNet: Intracerebral Hemorrhage Segmentation and Prognosis Classification Network Using CLIP-guided SAM mechanism [12.469269425813607]
脳内出血 (ICH) は脳卒中で最も致命的なサブタイプであり, 障害の発生頻度が高いことが特徴である。
既存のアプローチでは、これらの2つのタスクを独立して処理し、主にデータのみにフォーカスする。
本稿では,ICHセグメンテーションと予後分類の両方のために設計されたマルチタスクネットワークICH-SCNetを提案する。
論文 参考訳（メタデータ） (2024-11-07T12:34:25Z) - Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via
Projective Networks [4.933439602197885]
ヘテロジニアス次元(例えば3D+2D)を持つマルチモーダルデータの融合のための新しいディープラーニングベースのフレームワークを提案する。
この枠組みは、地理的萎縮(GA)の分画、加齢に伴う黄斑変性の後期発現、マルチモーダル網膜イメージングにおける網膜血管(RBV)の分画といった課題で検証された。
提案手法は, GAとRBVのセグメンテーションを最大3.10%, Diceを最大4.64%向上させる。
論文 参考訳（メタデータ） (2024-02-02T11:03:33Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。
半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文 参考訳（メタデータ） (2023-12-26T12:56:31Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳（メタデータ） (2023-06-25T16:55:32Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Towards Cross-modality Medical Image Segmentation with Online Mutual
Knowledge Distillation [71.89867233426597]
本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。
モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。
MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
論文 参考訳（メタデータ） (2020-10-04T10:25:13Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-02-22T14:32:04Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。