論文の概要: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
- arxiv url: http://arxiv.org/abs/2101.09560v1
- Date: Sat, 23 Jan 2021 19:06:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-19 10:44:40.931450
- Title: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
- Title（参考訳）: 医用画像分割のためのネットワーク非依存知識伝達
- Authors: Shuhang Wang, Vivek Kumar Singh, Alex Benjamin, Mercy Asiedu, Elham
Yousef Kalafi, Eugene Cheah, Viksit Kumar, Anthony Samir
- Abstract要約: 教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。
一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。
提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
- 参考スコア（独自算出の注目度）: 2.25146058725705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional transfer learning leverages weights of pre-trained networks, but
mandates the need for similar neural architectures. Alternatively, knowledge
distillation can transfer knowledge between heterogeneous networks but often
requires access to the original training data or additional generative
networks. Knowledge transfer between networks can be improved by being agnostic
to the choice of network architecture and reducing the dependence on original
training data. We propose a knowledge transfer approach from a teacher to a
student network wherein we train the student on an independent transferal
dataset, whose annotations are generated by the teacher. Experiments were
conducted on five state-of-the-art networks for semantic segmentation and seven
datasets across three imaging modalities. We studied knowledge transfer from a
single teacher, combination of knowledge transfer and fine-tuning, and
knowledge transfer from multiple teachers. The student model with a single
teacher achieved similar performance as the teacher; and the student model with
multiple teachers achieved better performance than the teachers. The salient
features of our algorithm include: 1)no need for original training data or
generative networks, 2) knowledge transfer between different architectures, 3)
ease of implementation for downstream tasks by using the downstream task
dataset as the transferal dataset, 4) knowledge transfer of an ensemble of
models, trained independently, into one student model. Extensive experiments
demonstrate that the proposed algorithm is effective for knowledge transfer and
easily tunable.
- Abstract（参考訳）: 従来の転送学習は、事前訓練されたネットワークの重みを利用するが、類似したニューラルネットワークアーキテクチャの必要性を義務付けている。
あるいは、知識蒸留は異種ネットワーク間で知識を伝達することができるが、しばしば元のトレーニングデータや追加の生成ネットワークにアクセスする必要がある。
ネットワーク間の知識伝達は、ネットワークアーキテクチャの選択に依存せず、元のトレーニングデータへの依存を減らすことで改善することができる。
本研究では,教師から生徒ネットワークへの知識伝達手法を提案する。そこでは,教師がアノテーションを生成する独立したトランスファーデータセットで生徒を訓練する。
セマンティックセグメンテーションのための5つの最先端ネットワークと、3つの画像モダリティにわたる7つのデータセットで実験を行った。
一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。
一人の教師を持つ生徒モデルは教師と同様のパフォーマンスを達成し、複数の教師を持つ生徒モデルは教師より優れたパフォーマンスを得た。
本アルゴリズムの有能な特徴は,1) 独自のトレーニングデータや生成ネットワークを必要としないこと,2) 異なるアーキテクチャ間の知識伝達,3) 下流タスクデータセットを転送データセットとして使用することで下流タスクの実装が容易であること,(4) 独立して訓練されたモデルの集合体を1つの学生モデルに伝達すること,である。
大規模な実験により,提案アルゴリズムは知識伝達に有効であり,容易に学習可能であることが示された。
関連論文リスト
- Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary
Tasks [24.041268664220294]
畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。
本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。
本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
論文 参考訳（メタデータ） (2021-10-25T07:18:26Z) - Representation Consolidation for Training Expert Students [54.90754502493968]
マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。
また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
論文 参考訳（メタデータ） (2021-07-16T17:58:18Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳（メタデータ） (2021-03-31T11:47:47Z) - Point Adversarial Self Mining: A Simple Method for Facial Expression
Recognition [79.75964372862279]
本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。
PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。
適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
論文 参考訳（メタデータ） (2020-08-26T06:39:24Z) - Transferring Inter-Class Correlation [13.877260506719743]
Teacher-Student (T-S) フレームワークは分類タスクで広く利用されている。
我々は,新たな伝達知識,自己認識に基づくクラス間相関(ICC)マップを出力層に設計し,T-Sフレームワークであるクラス間相関変換(ICCT)を提案する。
論文 参考訳（メタデータ） (2020-08-11T13:24:44Z) - Representation Transfer by Optimal Transport [34.77292648424614]
2つの表現間の一致を定量化するために最適な輸送を用いる。
この距離は、生徒の表現と教師の表現の類似性を促進する正規化器を定義する。
論文 参考訳（メタデータ） (2020-07-13T23:42:06Z) - Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。
本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。
我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
論文 参考訳（メタデータ） (2020-03-23T08:05:41Z) - Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。
トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
論文 参考訳（メタデータ） (2020-03-20T03:20:52Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳（メタデータ） (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。