論文の概要: Partially Supervised Unpaired Multi-Modal Learning for Label-Efficient Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2503.05190v1
- Date: Fri, 07 Mar 2025 07:22:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 15:56:42.506176
- Title: Partially Supervised Unpaired Multi-Modal Learning for Label-Efficient Medical Image Segmentation
- Title（参考訳）: ラベル効率の良い医用画像セグメンテーションのための部分教師付きマルチモーダル学習
- Authors: Lei Zhu, Yanyu Xu, Huazhu Fu, Xinxing Xu, Rick Siow Mong Goh, Yong Liu,
- Abstract要約: 我々は、新しい学習パラダイムを部分教師付き無ペア型マルチモーダルラーニング(PSUMML)と呼ぶ。
そこで我々は,DEST (Ensembled Self-Training) フレームワークを用いた新しい部分クラス適応法を提案する。
我々のフレームワークは、部分的にラベル付けされていないマルチモーダルデータを用いて学習するためのモダリティ特定正規化層を持つコンパクトなセグメンテーションネットワークで構成されている。
- 参考スコア（独自算出の注目度）: 53.723234136550055
- License:
- Abstract: Unpaired Multi-Modal Learning (UMML) which leverages unpaired multi-modal data to boost model performance on each individual modality has attracted a lot of research interests in medical image analysis. However, existing UMML methods require multi-modal datasets to be fully labeled, which incurs tremendous annotation cost. In this paper, we investigate the use of partially labeled data for label-efficient unpaired multi-modal learning, which can reduce the annotation cost by up to one half. We term the new learning paradigm as Partially Supervised Unpaired Multi-Modal Learning (PSUMML) and propose a novel Decomposed partial class adaptation with snapshot Ensembled Self-Training (DEST) framework for it. Specifically, our framework consists of a compact segmentation network with modality specific normalization layers for learning with partially labeled unpaired multi-modal data. The key challenge in PSUMML lies in the complex partial class distribution discrepancy due to partial class annotation, which hinders effective knowledge transfer across modalities. We theoretically analyze this phenomenon with a decomposition theorem and propose a decomposed partial class adaptation technique to precisely align the partially labeled classes across modalities to reduce the distribution discrepancy. We further propose a snapshot ensembled self-training technique to leverage the valuable snapshot models during training to assign pseudo-labels to partially labeled pixels for self-training to boost model performance. We perform extensive experiments under different scenarios of PSUMML for two medical image segmentation tasks, namely cardiac substructure segmentation and abdominal multi-organ segmentation. Our framework outperforms existing methods significantly.
- Abstract（参考訳）: 非ペア型マルチモーダル学習(UMML)は、個々のモダリティのモデル性能を高めるために、未ペア型マルチモーダルデータを活用する。
しかし、既存のUMMLメソッドでは、マルチモーダルデータセットを完全にラベル付けする必要があるため、膨大なアノテーションコストが発生する。
本稿では,ラベル効率の低いマルチモーダル学習におけるラベル付きデータの利用について検討し,アノテーションのコストを最大半分まで削減できることを示す。
本稿では,新しい学習パラダイムをPSUMML (Partially Supervised Unpaired Multi-Modal Learning) と呼んでいる。
具体的には,部分ラベル付きマルチモーダルデータを用いて学習するための,モダリティ特化正規化層を備えたコンパクトセグメンテーションネットワークで構成されている。
PSUMMLの鍵となる課題は、部分クラスアノテーションによる複雑な部分クラス分布の相違にある。
本稿では, この現象を分解定理を用いて理論的に解析し, 分割された部分クラス適応手法を提案する。
さらに、トレーニング中に貴重なスナップショットモデルを活用し、擬似ラベルを部分的にラベル付けしたピクセルにアサインして自己学習を行い、モデル性能を向上させるためのスナップショットアンサンブル自己学習手法を提案する。
心サブストラクチャーと腹部多臓器セグメンテーションという2つの医療画像セグメンテーションタスクに対して,PSUMMLの異なるシナリオ下で広範囲な実験を行った。
私たちのフレームワークは既存のメソッドを著しく上回ります。
関連論文リスト
- CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP [56.199779065855004]
CLIPEraseは視覚的・テキスト的関連を選択的に忘れる新しいアプローチである。
CIFAR-100とFlickr30Kデータセットの実験は、CLIPEraseがマルチモーダルサンプルのゼロショットタスクにおける指定された関連性を効果的に忘れていることを示している。
論文 参考訳（メタデータ） (2024-10-30T17:51:31Z) - Versatile Medical Image Segmentation Learned from Multi-Source Datasets via Model Self-Disambiguation [9.068045557591612]
本稿では,トレーニングのために,部分的あるいはスパースなセグメンテーションラベルのみを用いたマルチソースデータを活用する,費用対効果の代替案を提案する。
我々は,非一貫性なラベル付きマルチソースデータに関わる課題に対処するために,自己曖昧性,事前知識の取り込み,不均衡緩和の戦略を考案する。
論文 参考訳（メタデータ） (2023-11-17T18:28:32Z) - Multi-Scale Cross Contrastive Learning for Semi-Supervised Medical Image
Segmentation [14.536384387956527]
医用画像の構造を分割するマルチスケールクロススーパービジョンコントラスト学習フレームワークを開発した。
提案手法は,頑健な特徴表現を抽出するために,地上構造と横断予測ラベルに基づくマルチスケール特徴と対比する。
Diceでは最先端の半教師あり手法を3.0%以上上回っている。
論文 参考訳（メタデータ） (2023-06-25T16:55:32Z) - Tailored Multi-Organ Segmentation with Model Adaptation and Ensemble [22.82094545786408]
マルチ組織セグメンテーションは、医用画像解析の基本的な課題である。
高価な労働コストと専門知識のため、多臓器アノテーションの入手は通常制限される。
本稿では,モデル適応段とモデルアンサンブル段からなる新しい2段法を提案する。
論文 参考訳（メタデータ） (2023-04-14T13:39:39Z) - MultiTalent: A Multi-Dataset Approach to Medical Image Segmentation [1.146419670457951]
現在のプラクティスでは、モデルトレーニングと教師付き事前トレーニングを、1つまたはいくつかの類似したデータセットに制限している。
我々は多種多様なクラス定義を持つ複数のCTデータセットを活用する手法であるMultiTalentを提案する。
論文 参考訳（メタデータ） (2023-03-25T11:37:16Z) - Learning from Partially Overlapping Labels: Image Segmentation under
Annotation Shift [68.6874404805223]
腹部臓器分節の文脈におけるラベルの重複から学ぶためのいくつかの方法を提案する。
半教師付きアプローチと適応的クロスエントロピー損失を組み合わせることで、不均一な注釈付きデータをうまく活用できることが判明した。
論文 参考訳（メタデータ） (2021-07-13T09:22:24Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal
Unpaired Image Segmentation [7.021001169318551]
マルチモーダル医療イメージセグメンテーションは、臨床診断に不可欠な役割を担います。
入力モダリティはしばしば空間的に整列していないため、依然として困難である。
マルチモーダル画像分割のための親和性誘導完全畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-01-05T13:56:51Z) - Towards Robust Partially Supervised Multi-Structure Medical Image
Segmentation on Small-Scale Data [123.03252888189546]
データ不足下における部分教師付き学習(PSL)における方法論的ギャップを埋めるために,不確実性下でのビシナルラベル(VLUU)を提案する。
マルチタスク学習とヴィジナルリスク最小化によって動機づけられたVLUUは、ビジナルラベルを生成することによって、部分的に教師付き問題を完全な教師付き問題に変換する。
本研究は,ラベル効率の高い深層学習における新たな研究の方向性を示唆するものである。
論文 参考訳（メタデータ） (2020-11-28T16:31:00Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。