論文の概要: Evaluating Knowledge Transfer in Neural Network for Medical Images
- arxiv url: http://arxiv.org/abs/2008.13574v2
- Date: Thu, 17 Sep 2020 21:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 07:26:46.152628
- Title: Evaluating Knowledge Transfer in Neural Network for Medical Images
- Title（参考訳）: 医用画像のためのニューラルネットワークにおける知識伝達の評価
- Authors: Sina Akbarian, Laleh Seyyed-Kalantari, Farzad Khalvati, and Elham
Dolatabadi
- Abstract要約: 本稿では,CNN教師から学生CNNへ知識を伝達する学習フレームワークを提案する。
学生ネットワークが小さなデータセットでトレーニングされた場合,提案するネットワークの性能について検討する。
その結果,教師が学習する学習フレームワークは,小さなデータセットの伝達学習よりも優れていた。
- 参考スコア（独自算出の注目度）: 0.18599311233727078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning and knowledge transfer techniques have permeated the field of
medical imaging and are considered as key approaches for revolutionizing
diagnostic imaging practices. However, there are still challenges for the
successful integration of deep learning into medical imaging tasks due to a
lack of large annotated imaging data. To address this issue, we propose a
teacher-student learning framework to transfer knowledge from a carefully
pre-trained convolutional neural network (CNN) teacher to a student CNN. In
this study, we explore the performance of knowledge transfer in the medical
imaging setting. We investigate the proposed network's performance when the
student network is trained on a small dataset (target dataset) as well as when
teacher's and student's domains are distinct. The performances of the CNN
models are evaluated on three medical imaging datasets including Diabetic
Retinopathy, CheXpert, and ChestX-ray8. Our results indicate that the
teacher-student learning framework outperforms transfer learning for small
imaging datasets. Particularly, the teacher-student learning framework improves
the area under the ROC Curve (AUC) of the CNN model on a small sample of
CheXpert (n=5k) by 4% and on ChestX-ray8 (n=5.6k) by 9%. In addition to small
training data size, we also demonstrate a clear advantage of the
teacher-student learning framework in the medical imaging setting compared to
transfer learning. We observe that the teacher-student network holds a great
promise not only to improve the performance of diagnosis but also to reduce
overfitting when the dataset is small.
- Abstract（参考訳）: 深層学習と知識伝達技術は医療画像の分野に浸透し、診断イメージングの実践に革命をもたらす重要なアプローチと考えられている。
しかし、大量の注記画像データがないため、深層学習の医療画像タスクへの統合が成功するには依然として課題がある。
この問題に対処するために、慎重に訓練された畳み込みニューラルネットワーク(CNN)教師から学生CNNへ知識を伝達する教師学習フレームワークを提案する。
本研究では,医用撮像装置における知識伝達性能について検討する。
学生ネットワークが小さなデータセット(ターゲットデータセット)上で訓練された場合と教師と生徒のドメインが異なる場合のネットワーク性能について検討した。
CNNモデルの性能は、糖尿病網膜症、CheXpert、ChestX-ray8を含む3つの医療画像データセットで評価される。
その結果,教師の学習フレームワークは,小さな画像データセットの転送学習よりも優れていた。
特に、教師の学習フレームワークは、CNNモデルのOC曲線(AUC)の小さなサンプルであるCheXpert(n=5k)の領域を4%、ChestX-ray8(n=5.6k)の領域を9%改善する。
また,データサイズが小さいことに加えて,移動学習と比較して,医用画像設定における教師学生学習フレームワークの利点も明らかに示す。
教師と学生のネットワークは、診断性能を向上させるだけでなく、データセットが小さい場合の過度な適合を抑えるという大きな約束を果たす。
関連論文リスト
- Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities [0.0]
本稿では,種々の医用画像データセット間での伝達学習を伴う,事前訓練された深部畳み込みニューラルネットワークの使用の複雑さについて検討する。
固定特徴抽出器として事前訓練されたモデルを使用することで,データセットに関係なく性能が低下することを示す。
また、より深く複雑なアーキテクチャが必ずしも最高のパフォーマンスをもたらすとは限らないことも判明した。
論文 参考訳（メタデータ） (2024-08-30T04:51:19Z) - Connecting the Dots: Graph Neural Network Powered Ensemble and
Classification of Medical Images [0.0]
医療画像の深層学習は、大量のトレーニングデータを必要とするため、制限されている。
画像フォレスティング変換を用いて、画像を最適にスーパーピクセルに分割する。
これらのスーパーピクセルはその後、グラフ構造化データに変換され、特徴の巧妙な抽出と関係のモデリングを可能にする。
論文 参考訳（メタデータ） (2023-11-13T13:20:54Z) - Transfer learning from a sparsely annotated dataset of 3D medical images [4.477071833136902]
本研究では,医療画像における臓器分割のための深部畳み込みニューラルネットワークの性能向上のための伝達学習の活用について検討する。
ベースセグメンテーションモデルは、大小の注釈付きデータセットに基づいてトレーニングされ、その重みは4つの新しい下流セグメンテーションタスクのトランスファー学習に使用された。
その結果,小規模なデータセットが利用可能になった場合には,ベースモデルからの移動学習が有用であることが示唆された。
論文 参考訳（メタデータ） (2023-11-08T21:31:02Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳（メタデータ） (2023-04-18T15:39:58Z) - When Accuracy Meets Privacy: Two-Stage Federated Transfer Learning
Framework in Classification of Medical Images on Limited Data: A COVID-19
Case Study [77.34726150561087]
新型コロナウイルスのパンデミックが急速に広がり、世界の医療資源が不足している。
CNNは医療画像の解析に広く利用され、検証されている。
論文 参考訳（メタデータ） (2022-03-24T02:09:41Z) - A Systematic Benchmarking Analysis of Transfer Learning for Medical
Image Analysis [7.339428207644444]
我々は,最新の大規模きめ細かいデータセットであるiNat2021で事前訓練されたモデルの転送可能性について,系統的研究を行った。
本稿では,医用画像上のイメージネットモデルを継続的に(事前学習)することにより,自然画像と医用画像の領域ギャップを埋める実践的アプローチを提案する。
論文 参考訳（メタデータ） (2021-08-12T19:08:34Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳（メタデータ） (2021-01-12T23:02:26Z) - Multi-label Thoracic Disease Image Classification with Cross-Attention
Networks [65.37531731899837]
胸部X線画像から胸部疾患を自動分類するためのCAN(Cross-Attention Networks)を提案する。
また,クロスエントロピー損失を超える新たな損失関数を設計し,クラス間の不均衡を克服する。
論文 参考訳（メタデータ） (2020-07-21T14:37:00Z) - Student-Teacher Curriculum Learning via Reinforcement Learning:
Predicting Hospital Inpatient Admission Location [4.359338565775979]
本研究では,この問題に対処するための強化学習を通して,学生と教師のネットワークを提案する。
生徒ネットワークの重みの表現を状態として扱い、教師ネットワークへの入力として供給する。
教師ネットワークの行動は、エントロピーに応じてソートされたトレーニングセットから、生徒ネットワークをトレーニングするための最も適切なデータのバッチを選択することである。
論文 参考訳（メタデータ） (2020-07-01T15:00:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。