論文の概要: Revisiting Hidden Representations in Transfer Learning for Medical
Imaging
- arxiv url: http://arxiv.org/abs/2302.08272v2
- Date: Thu, 7 Sep 2023 13:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:47:45.161935
- Title: Revisiting Hidden Representations in Transfer Learning for Medical
Imaging
- Title（参考訳）: 医用画像変換学習における隠れ表現の再検討
- Authors: Dovile Juodelyte, Amelia Jim\'enez-S\'anchez, Veronika Cheplygina
- Abstract要約: 7つの医学分類課題について,ImageNetとRadImageNetを比較した。
その結果,ImageNetとRadImageNetは直感とは対照的に,異なる中間表現に収束する可能性が示唆された。
その結果, ネットワーク間の微調整前後の類似性は, 性能向上と相関しないことがわかった。
- 参考スコア（独自算出の注目度）: 2.4545492329339815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While a key component to the success of deep learning is the availability of
massive amounts of training data, medical image datasets are often limited in
diversity and size. Transfer learning has the potential to bridge the gap
between related yet different domains. For medical applications, however, it
remains unclear whether it is more beneficial to pre-train on natural or
medical images. We aim to shed light on this problem by comparing
initialization on ImageNet and RadImageNet on seven medical classification
tasks. Our work includes a replication study, which yields results contrary to
previously published findings. In our experiments, ResNet50 models pre-trained
on ImageNet tend to outperform those trained on RadImageNet. To gain further
insights, we investigate the learned representations using Canonical
Correlation Analysis (CCA) and compare the predictions of the different models.
Our results indicate that, contrary to intuition, ImageNet and RadImageNet may
converge to distinct intermediate representations, which appear to diverge
further during fine-tuning. Despite these distinct representations, the
predictions of the models remain similar. Our findings show that the similarity
between networks before and after fine-tuning does not correlate with
performance gains, suggesting that the advantages of transfer learning might
not solely originate from the reuse of features in the early layers of a
convolutional neural network.
- Abstract（参考訳）: ディープラーニングの成功の鍵となるコンポーネントは、大量のトレーニングデータの提供であるが、医療画像データセットは多様性とサイズに制限されることが多い。
転送学習は、関連するが異なるドメイン間のギャップを埋める可能性がある。
しかし, 医学的応用については, 自然画像や医用画像の事前学習が有益かは定かではない。
我々は,imagenet と radimagenet の初期化を 7 つの医療分類タスクで比較することにより,この問題に光を当てる。
我々の研究には、以前に発表された結果とは逆の結果をもたらす複製研究が含まれている。
我々の実験では、ImageNetで事前トレーニングされたResNet50モデルは、RadImageNetでトレーニングされたモデルよりも優れています。
さらなる知見を得るため,CCA(Canonical correlation Analysis)を用いて学習した表現を調査し,異なるモデルの予測を比較した。
以上の結果から,imagenet と radimagenet は,直観とは対照的に,異なる中間表現に収束する可能性が示唆された。
これらの異なる表現にもかかわらず、モデルの予測は似通っている。
以上の結果から,微調整前後のネットワーク間の類似性は,性能向上と相関せず,畳み込みニューラルネットワークの初期層における特徴の再利用のみによるものではないことが示唆された。
関連論文リスト
- Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities [0.0]
本稿では,種々の医用画像データセット間での伝達学習を伴う,事前訓練された深部畳み込みニューラルネットワークの使用の複雑さについて検討する。
固定特徴抽出器として事前訓練されたモデルを使用することで,データセットに関係なく性能が低下することを示す。
また、より深く複雑なアーキテクチャが必ずしも最高のパフォーマンスをもたらすとは限らないことも判明した。
論文 参考訳（メタデータ） (2024-08-30T04:51:19Z) - Source Matters: Source Dataset Impact on Model Robustness in Medical Imaging [14.250975981451914]
我々は、ImageNetとRadImageNetが同等の分類性能を達成することを示す。
ImageNetは、共同ファウンダーに過度にフィットする傾向にある。
ImageNet-pretrained modelを使用する研究者は、モデルを再検討することを推奨する。
論文 参考訳（メタデータ） (2024-03-07T13:36:15Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳（メタデータ） (2023-04-18T15:39:58Z) - Enhanced Transfer Learning Through Medical Imaging and Patient
Demographic Data Fusion [0.0]
画像特徴と関連する非画像データとを組み合わせた医療画像データの分類における性能向上について検討した。
特徴抽出器として直接使用し,対象領域に微調整を施したImageNetで事前訓練したネットワークを用いた転送学習を利用する。
論文 参考訳（メタデータ） (2021-11-29T09:11:52Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳（メタデータ） (2021-11-23T15:08:26Z) - A Systematic Benchmarking Analysis of Transfer Learning for Medical
Image Analysis [7.339428207644444]
我々は,最新の大規模きめ細かいデータセットであるiNat2021で事前訓練されたモデルの転送可能性について,系統的研究を行った。
本稿では,医用画像上のイメージネットモデルを継続的に(事前学習)することにより,自然画像と医用画像の領域ギャップを埋める実践的アプローチを提案する。
論文 参考訳（メタデータ） (2021-08-12T19:08:34Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。
本稿では,生成逆U-Netという新しい生成手法を提案する。
当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
論文 参考訳（メタデータ） (2021-01-12T23:02:26Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z) - Improving Calibration and Out-of-Distribution Detection in Medical Image
Segmentation with Convolutional Neural Networks [8.219843232619551]
畳み込みニューラルネットワーク(CNN)は強力な医用画像分割モデルであることが示されている。
マルチタスク学習、すなわち、複数の異なるデータセット上で単一のモデルをトレーニングすることを提唱する。
一つのCNNが、文脈を自動的に認識し、各文脈における関心の組織を正確に区分することを学ぶだけでなく、そのようなジョイントモデルの方が、より正確でより良い校正された予測を持つことも示している。
論文 参考訳（メタデータ） (2020-04-12T23:42:51Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。