論文の概要: Rethink Transfer Learning in Medical Image Classification
- arxiv url: http://arxiv.org/abs/2106.05152v2
- Date: Thu, 10 Jun 2021 16:40:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-13 04:32:59.416240
- Title: Rethink Transfer Learning in Medical Image Classification
- Title(参考訳): 医用画像分類における再考伝達学習
- Authors: Le Peng, Hengyue Liang, Taihui Li, Ju Sun
- Abstract要約: 深部畳み込みニューラルネットワーク(DCNN)を用いた伝達学習は医用画像分類(MIC)において成功している
本稿では,2つの胸部X線データセットの分類のための浅部ネットワークと深部ネットワークの実験的比較を行う。
私たちは、ディープモデルは必ずしも好ましくないということに気付き、細かな切り詰められたディープモデルは、特にデータ貧弱なレシエーションにおいて、ほとんどの場合、最高のパフォーマンスをもたらす。
- 参考スコア(独自算出の注目度): 3.4410212782758047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning (TL) with deep convolutional neural networks (DCNNs) has
proved successful in medical image classification (MIC). However, the current
practice is puzzling, as MIC typically relies only on low- and/or mid-level
features that are learned in the bottom layers of DCNNs. Following this
intuition, we question the current strategies of TL in MIC. In this paper, we
perform careful experimental comparisons between shallow and deep networks for
classification on two chest x-ray datasets, using different TL strategies. We
find that deep models are not always favorable, and finetuning truncated deep
models almost always yields the best performance, especially in data-poor
regimes.
Project webpage:
https://sun-umn.github.io/Transfer-Learning-in-Medical-Imaging/
Keywords: Transfer learning, Medical image classification, Feature hierarchy,
Medical imaging, Evaluation metrics, Imbalanced data
- Abstract(参考訳): 深層畳み込みニューラルネットワーク(DCNN)を用いた伝達学習(TL)は医用画像分類(MIC)において成功している。
MICは一般的にDCNNの下位層で学習される低層および中層機能にのみ依存するため、現在のプラクティスは混乱している。
この直感に従うと、MICにおけるTLの現在の戦略を疑問視する。
本稿では,異なるtl戦略を用いて,胸部x線データ集合の分類のための浅層と深層ネットワークの実験的比較を行った。
私たちは、ディープモデルは必ずしも好ましくないことに気付き、微調整されたディープモデルは、特にデータ貧弱な状況において、ほとんどの場合、最高のパフォーマンスを得る。
プロジェクトWebページ:https://sun-umn.github.io/Transfer-Learning-in-Medical-Imaging/キーワード:転送学習、医用画像分類、特徴階層、医用画像、評価指標、不均衡データ
関連論文リスト
- ShortGPT: Layers in Large Language Models are More Redundant Than You
Expect [39.791695729504006]
LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。
レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。
実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2024-03-06T17:04:18Z) - LaCo: Large Language Model Pruning via Layer Collapse [63.973142426228016]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。
後部モデル層が先行層に崩壊する,textitLayer Collapse (LaCo) と呼ばれる簡潔な層分割法を提案する。
実験の結果,25~30%の刈り取り率で平均タスク性能が80%以上維持されていることがわかった。
論文 参考訳(メタデータ) (2024-02-17T04:16:30Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。
本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
論文 参考訳(メタデータ) (2022-10-20T17:59:15Z) - Multi-layer Clustering-based Residual Sparsifying Transform for Low-dose
CT Image Reconstruction [11.011268090482575]
本稿では,X線CT(Computerd Tomography)再構成のためのネットワーク構造スペーシング変換学習手法を提案する。
我々は, PWLS (Palalized weighted least squares) 再構成において, MCSTモデルを正規化器に配置することにより低用量CT再構成にMCSTモデルを適用した。
シミュレーションの結果,PWLS-MCSTは従来のFBP法やEP正則化を用いたPWLSよりも画像再構成精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-03-22T09:38:41Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳(メタデータ) (2021-02-08T03:27:05Z) - Multi-layer Residual Sparsifying Transform (MARS) Model for Low-dose CT
Image Reconstruction [12.37556184089774]
教師なしの方法で学習した新しい多層モデルに基づく画像再構成手法を開発した。
提案フレームワークは、画像の古典的スカラー化変換モデルを、Multi-lAyer Residual Sparsifying transform (MARS)モデルに拡張する。
限られた正規線量画像から教師なしの方法で層間変換を学習する効率的なブロック座標降下アルゴリズムを導出する。
論文 参考訳(メタデータ) (2020-10-10T09:04:43Z) - Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。
これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。
非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
論文 参考訳(メタデータ) (2020-08-28T23:05:15Z) - Learned Multi-layer Residual Sparsifying Transform Model for Low-dose CT
Reconstruction [11.470070927586017]
スパース変換学習は、高度に効率的なスパースコーディングとオペレータ更新ステップを含む。
本稿では,変換領域残基を層上で共分散したMRST学習モデルを提案する。
論文 参考訳(メタデータ) (2020-05-08T02:36:50Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳(メタデータ) (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。