論文の概要: Network-Agnostic Knowledge Transfer for Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2101.09560v1
• Date: Sat, 23 Jan 2021 19:06:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 10:44:40.931450
• Title: Network-Agnostic Knowledge Transfer for Medical Image Segmentation
• Title（参考訳）: 医用画像分割のためのネットワーク非依存知識伝達
• Authors: Shuhang Wang, Vivek Kumar Singh, Alex Benjamin, Mercy Asiedu, Elham Yousef Kalafi, Eugene Cheah, Viksit Kumar, Anthony Samir
• Abstract要約: 教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。 一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。 提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
• 参考スコア（独自算出の注目度）: 2.25146058725705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional transfer learning leverages weights of pre-trained networks, but mandates the need for similar neural architectures. Alternatively, knowledge distillation can transfer knowledge between heterogeneous networks but often requires access to the original training data or additional generative networks. Knowledge transfer between networks can be improved by being agnostic to the choice of network architecture and reducing the dependence on original training data. We propose a knowledge transfer approach from a teacher to a student network wherein we train the student on an independent transferal dataset, whose annotations are generated by the teacher. Experiments were conducted on five state-of-the-art networks for semantic segmentation and seven datasets across three imaging modalities. We studied knowledge transfer from a single teacher, combination of knowledge transfer and fine-tuning, and knowledge transfer from multiple teachers. The student model with a single teacher achieved similar performance as the teacher; and the student model with multiple teachers achieved better performance than the teachers. The salient features of our algorithm include: 1)no need for original training data or generative networks, 2) knowledge transfer between different architectures, 3) ease of implementation for downstream tasks by using the downstream task dataset as the transferal dataset, 4) knowledge transfer of an ensemble of models, trained independently, into one student model. Extensive experiments demonstrate that the proposed algorithm is effective for knowledge transfer and easily tunable.
• Abstract（参考訳）: 従来の転送学習は、事前訓練されたネットワークの重みを利用するが、類似したニューラルネットワークアーキテクチャの必要性を義務付けている。 あるいは、知識蒸留は異種ネットワーク間で知識を伝達することができるが、しばしば元のトレーニングデータや追加の生成ネットワークにアクセスする必要がある。 ネットワーク間の知識伝達は、ネットワークアーキテクチャの選択に依存せず、元のトレーニングデータへの依存を減らすことで改善することができる。 本研究では,教師から生徒ネットワークへの知識伝達手法を提案する。そこでは,教師がアノテーションを生成する独立したトランスファーデータセットで生徒を訓練する。 セマンティックセグメンテーションのための5つの最先端ネットワークと、3つの画像モダリティにわたる7つのデータセットで実験を行った。 一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。 一人の教師を持つ生徒モデルは教師と同様のパフォーマンスを達成し、複数の教師を持つ生徒モデルは教師より優れたパフォーマンスを得た。 本アルゴリズムの有能な特徴は,1) 独自のトレーニングデータや生成ネットワークを必要としないこと,2) 異なるアーキテクチャ間の知識伝達,3) 下流タスクデータセットを転送データセットとして使用することで下流タスクの実装が容易であること,(4) 独立して訓練されたモデルの集合体を1つの学生モデルに伝達すること,である。 大規模な実験により,提案アルゴリズムは知識伝達に有効であり,容易に学習可能であることが示された。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks [24.041268664220294]
  畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。 本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。 本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
  論文  参考訳（メタデータ） (2021-10-25T07:18:26Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Representation Transfer by Optimal Transport [34.77292648424614]
  2つの表現間の一致を定量化するために最適な輸送を用いる。 この距離は、生徒の表現と教師の表現の類似性を促進する正規化器を定義する。
  論文  参考訳（メタデータ） (2020-07-13T23:42:06Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)
• Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
  複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。 トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-03-20T03:20:52Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。