論文の概要: Knowledge distillation from multi-modal to mono-modal segmentation
networks
- arxiv url: http://arxiv.org/abs/2106.09564v1
- Date: Thu, 17 Jun 2021 14:46:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 16:16:12.270311
- Title: Knowledge distillation from multi-modal to mono-modal segmentation
networks
- Title(参考訳): マルチモーダルからモノモーダルセグメンテーションネットワークへの知識蒸留
- Authors: Minhao Hu, Matthis Maillard, Ya Zhang, Tommaso Ciceri, Giammarco La
Barbera, Isabelle Bloch, Pietro Gori
- Abstract要約: 学習したマルチモーダルネットワーク(教師)からモノモーダルネットワーク(学生)へ知識を伝達するフレームワークであるKD-Netを提案する。
学生ネットワークは教師から効果的に学習し、セグメンテーションの精度で常にベースラインのモノモーダルネットワークより優れていることを示す。
- 参考スコア(独自算出の注目度): 13.213798509506272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The joint use of multiple imaging modalities for medical image segmentation
has been widely studied in recent years. The fusion of information from
different modalities has demonstrated to improve the segmentation accuracy,
with respect to mono-modal segmentations, in several applications. However,
acquiring multiple modalities is usually not possible in a clinical setting due
to a limited number of physicians and scanners, and to limit costs and scan
time. Most of the time, only one modality is acquired. In this paper, we
propose KD-Net, a framework to transfer knowledge from a trained multi-modal
network (teacher) to a mono-modal one (student). The proposed method is an
adaptation of the generalized distillation framework where the student network
is trained on a subset (1 modality) of the teacher's inputs (n modalities). We
illustrate the effectiveness of the proposed framework in brain tumor
segmentation with the BraTS 2018 dataset. Using different architectures, we
show that the student network effectively learns from the teacher and always
outperforms the baseline mono-modal network in terms of segmentation accuracy.
- Abstract(参考訳): 近年,医用画像分割における複数の画像モダリティの併用が広く研究されている。
異なるモダリティからの情報の融合は、いくつかのアプリケーションにおいて、モノモーダルセグメンテーションに関して、セグメンテーションの精度を向上させることを実証している。
しかし、医師やスキャナーの数が限られているため、臨床環境では複数のモダリティの取得は不可能であり、コストやスキャン時間を制限している。
ほとんどの場合、1つのモダリティのみが取得される。
本稿では,訓練されたマルチモーダルネットワーク(教師)からモノモーダルネットワーク(学生)へ知識を転送するフレームワークであるkd-netを提案する。
提案手法は,教師の入力(nモダリティ)のサブセット(1モダリティ)に基づいて学生ネットワークを訓練する一般蒸留フレームワークの適応である。
我々はBraTS 2018データセットを用いた脳腫瘍セグメント化における提案フレームワークの有効性について述べる。
異なるアーキテクチャを用いて,生徒ネットワークが教師から効果的に学習し,セグメンテーション精度で常にベースラインのモノモーダルネットワークを上回ることを示す。
関連論文リスト
- MultiTalent: A Multi-Dataset Approach to Medical Image Segmentation [1.146419670457951]
現在のプラクティスでは、モデルトレーニングと教師付き事前トレーニングを、1つまたはいくつかの類似したデータセットに制限している。
我々は多種多様なクラス定義を持つ複数のCTデータセットを活用する手法であるMultiTalentを提案する。
論文 参考訳(メタデータ) (2023-03-25T11:37:16Z) - M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical
Image Segmentation [73.10707675345253]
医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。
本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
論文 参考訳(メタデータ) (2023-03-20T06:26:49Z) - A Multi-modal Fusion Framework Based on Multi-task Correlation Learning
for Cancer Prognosis Prediction [8.476394437053477]
生存分析とがん分類のためのマルチタスク相関学習(MultiCoFusion)に基づくマルチモーダル融合フレームワークを提案する。
The Cancer Genome Atlas (TCGA) のグリオーマデータセットを用いて我々の枠組みを体系的に評価した。
論文 参考訳(メタデータ) (2022-01-22T15:16:24Z) - Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal
Unpaired Image Segmentation [7.021001169318551]
マルチモーダル医療イメージセグメンテーションは、臨床診断に不可欠な役割を担います。
入力モダリティはしばしば空間的に整列していないため、依然として困難である。
マルチモーダル画像分割のための親和性誘導完全畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-01-05T13:56:51Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Towards Cross-modality Medical Image Segmentation with Online Mutual
Knowledge Distillation [71.89867233426597]
本稿では,あるモダリティから学習した事前知識を活用し,別のモダリティにおけるセグメンテーション性能を向上させることを目的とする。
モーダル共有知識を徹底的に活用する新しい相互知識蒸留法を提案する。
MMWHS 2017, MMWHS 2017 を用いた多クラス心筋セグメンテーション実験の結果, CT セグメンテーションに大きな改善が得られた。
論文 参考訳(メタデータ) (2020-10-04T10:25:13Z) - Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement
and Gated Fusion [71.87627318863612]
画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-02-22T14:32:04Z) - MS-Net: Multi-Site Network for Improving Prostate Segmentation with
Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。
当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-02-09T14:11:50Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。