Fugu-MT 論文翻訳(概要): Network-Agnostic Knowledge Transfer for Medical Image Segmentation

論文の概要: Network-Agnostic Knowledge Transfer for Medical Image Segmentation

arxiv url: http://arxiv.org/abs/2101.09560v1
Date: Sat, 23 Jan 2021 19:06:14 GMT
ステータス: 処理完了
システム内更新日: 2021-03-19 10:44:40.931450
Title: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
Title（参考訳）: 医用画像分割のためのネットワーク非依存知識伝達
Authors: Shuhang Wang, Vivek Kumar Singh, Alex Benjamin, Mercy Asiedu, Elham Yousef Kalafi, Eugene Cheah, Viksit Kumar, Anthony Samir
Abstract要約: 教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
参考スコア（独自算出の注目度）: 2.25146058725705
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional transfer learning leverages weights of pre-trained networks, but mandates the need for similar neural architectures. Alternatively, knowledge distillation can transfer knowledge between heterogeneous networks but often requires access to the original training data or additional generative networks. Knowledge transfer between networks can be improved by being agnostic to the choice of network architecture and reducing the dependence on original training data. We propose a knowledge transfer approach from a teacher to a student network wherein we train the student on an independent transferal dataset, whose annotations are generated by the teacher. Experiments were conducted on five state-of-the-art networks for semantic segmentation and seven datasets across three imaging modalities. We studied knowledge transfer from a single teacher, combination of knowledge transfer and fine-tuning, and knowledge transfer from multiple teachers. The student model with a single teacher achieved similar performance as the teacher; and the student model with multiple teachers achieved better performance than the teachers. The salient features of our algorithm include: 1)no need for original training data or generative networks, 2) knowledge transfer between different architectures, 3) ease of implementation for downstream tasks by using the downstream task dataset as the transferal dataset, 4) knowledge transfer of an ensemble of models, trained independently, into one student model. Extensive experiments demonstrate that the proposed algorithm is effective for knowledge transfer and easily tunable.
Abstract（参考訳）: 従来の転送学習は、事前訓練されたネットワークの重みを利用するが、類似したニューラルネットワークアーキテクチャの必要性を義務付けている。あるいは、知識蒸留は異種ネットワーク間で知識を伝達することができるが、しばしば元のトレーニングデータや追加の生成ネットワークにアクセスする必要がある。ネットワーク間の知識伝達は、ネットワークアーキテクチャの選択に依存せず、元のトレーニングデータへの依存を減らすことで改善することができる。本研究では,教師から生徒ネットワークへの知識伝達手法を提案する。そこでは,教師がアノテーションを生成する独立したトランスファーデータセットで生徒を訓練する。セマンティックセグメンテーションのための5つの最先端ネットワークと、3つの画像モダリティにわたる7つのデータセットで実験を行った。一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。一人の教師を持つ生徒モデルは教師と同様のパフォーマンスを達成し、複数の教師を持つ生徒モデルは教師より優れたパフォーマンスを得た。本アルゴリズムの有能な特徴は,1) 独自のトレーニングデータや生成ネットワークを必要としないこと,2) 異なるアーキテクチャ間の知識伝達,3) 下流タスクデータセットを転送データセットとして使用することで下流タスクの実装が容易であること,(4) 独立して訓練されたモデルの集合体を1つの学生モデルに伝達すること,である。大規模な実験により,提案アルゴリズムは知識伝達に有効であり,容易に学習可能であることが示された。