論文の概要: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2101.09560v1
- Date: Sat, 23 Jan 2021 19:06:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 10:44:40.931450
- Title: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
- Title（参考訳）: 医用画像分割のためのネットワーク非依存知識伝達
- Authors: Shuhang Wang, Vivek Kumar Singh, Alex Benjamin, Mercy Asiedu, Elham
Yousef Kalafi, Eugene Cheah, Viksit Kumar, Anthony Samir
- Abstract要約: 教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。
一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。
提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
- 参考スコア（独自算出の注目度）: 2.25146058725705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional transfer learning leverages weights of pre-trained networks, but
mandates the need for similar neural architectures. Alternatively, knowledge
distillation can transfer knowledge between heterogeneous networks but often
requires access to the original training data or additional generative
networks. Knowledge transfer between networks can be improved by being agnostic
to the choice of network architecture and reducing the dependence on original
training data. We propose a knowledge transfer approach from a teacher to a
student network wherein we train the student on an independent transferal
dataset, whose annotations are generated by the teacher. Experiments were
conducted on five state-of-the-art networks for semantic segmentation and seven
datasets across three imaging modalities. We studied knowledge transfer from a
single teacher, combination of knowledge transfer and fine-tuning, and
knowledge transfer from multiple teachers. The student model with a single
teacher achieved similar performance as the teacher; and the student model with
multiple teachers achieved better performance than the teachers. The salient
features of our algorithm include: 1)no need for original training data or
generative networks, 2) knowledge transfer between different architectures, 3)
ease of implementation for downstream tasks by using the downstream task
dataset as the transferal dataset, 4) knowledge transfer of an ensemble of
models, trained independently, into one student model. Extensive experiments
demonstrate that the proposed algorithm is effective for knowledge transfer and
easily tunable.
- Abstract（参考訳）: 従来の転送学習は、事前訓練されたネットワークの重みを利用するが、類似したニューラルネットワークアーキテクチャの必要性を義務付けている。
あるいは、知識蒸留は異種ネットワーク間で知識を伝達することができるが、しばしば元のトレーニングデータや追加の生成ネットワークにアクセスする必要がある。
ネットワーク間の知識伝達は、ネットワークアーキテクチャの選択に依存せず、元のトレーニングデータへの依存を減らすことで改善することができる。
本研究では,教師から生徒ネットワークへの知識伝達手法を提案する。そこでは,教師がアノテーションを生成する独立したトランスファーデータセットで生徒を訓練する。
セマンティックセグメンテーションのための5つの最先端ネットワークと、3つの画像モダリティにわたる7つのデータセットで実験を行った。
一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。
一人の教師を持つ生徒モデルは教師と同様のパフォーマンスを達成し、複数の教師を持つ生徒モデルは教師より優れたパフォーマンスを得た。
本アルゴリズムの有能な特徴は,1) 独自のトレーニングデータや生成ネットワークを必要としないこと,2) 異なるアーキテクチャ間の知識伝達,3) 下流タスクデータセットを転送データセットとして使用することで下流タスクの実装が容易であること,(4) 独立して訓練されたモデルの集合体を1つの学生モデルに伝達すること,である。
大規模な実験により,提案アルゴリズムは知識伝達に有効であり,容易に学習可能であることが示された。
関連論文リスト
- Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary
Tasks [24.041268664220294]
畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。
本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。
本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
論文 参考訳（メタデータ） (2021-10-25T07:18:26Z) - Hierarchical Self-supervised Augmented Knowledge Distillation [1.9355744690301404]
本稿では,ネットワークを誘導し,本来の認識タスクと自己教師付き補助タスクの共分散を学習するための,新たな自己教師型拡張タスクを提案する。
正規分類能力を失うことなく、表現力を向上させるためのより豊かな知識として実証される。
CIFAR-100では平均2.56%,ImageNetでは0.77%向上した。
論文 参考訳（メタデータ） (2021-07-29T02:57:21Z) - Representation Consolidation for Training Expert Students [54.90754502493968]
マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。
また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
論文 参考訳（メタデータ） (2021-07-16T17:58:18Z) - Distilling EEG Representations via Capsules for Affective Computing [14.67085109524245]
カプセル型アーキテクチャを用いて脳波表現を蒸留する新しい知識蒸留パイプラインを提案する。
本フレームワークは,教師から効果的に学習できる圧縮率の異なる学生ネットワークを実現する。
この手法は2つのデータセットのうちの1つで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-04-30T22:04:35Z) - Distilling Knowledge via Knowledge Review [69.15050871776552]
教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-04-19T04:36:24Z) - Data-Free Knowledge Distillation with Soft Targeted Transfer Set
Synthesis [8.87104231451079]
知識蒸留(KD)は、ディープニューラルネットワーク圧縮に有効なアプローチであることが証明されている。
従来のkdでは、転送された知識は通常、トレーニングサンプルを教師ネットワークに供給することで得られる。
元のトレーニングデータセットは、ストレージコストやプライバシーの問題のために常に利用できるとは限らない。
本研究では,教師の中間特徴空間をモデル化し,データフリーなKD手法を提案する。
論文 参考訳（メタデータ） (2021-04-10T22:42:14Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Student Network Learning via Evolutionary Knowledge Distillation [22.030934154498205]
教師知識の伝達効率を改善するための進化的知識蒸留手法を提案する。
進化的教師は、固定された予習教師の代わりにオンラインで学習され、学生ネットワーク学習を監督するために、中間的知識を継続的に伝達する。
このようにして、学生は豊富な内部知識を同時に獲得し、その成長過程を捉え、効果的なネットワーク学習につながる。
論文 参考訳（メタデータ） (2021-03-23T02:07:15Z) - Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。
事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
論文 参考訳（メタデータ） (2021-02-12T07:00:17Z) - Wasserstein Contrastive Representation Distillation [114.24609306495456]
We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。
二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。
実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
論文 参考訳（メタデータ） (2020-12-15T23:43:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。