論文の概要: Rethinking Transfer Learning for Medical Image Classification
- arxiv url: http://arxiv.org/abs/2106.05152v7
- Date: Sat, 16 Dec 2023 20:35:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 21:40:55.867613
- Title: Rethinking Transfer Learning for Medical Image Classification
- Title(参考訳): 医用画像分類のための転帰学習の再考
- Authors: Le Peng, Hengyue Liang, Gaoxiang Luo, Taihui Li, Ju Sun
- Abstract要約: 事前訓練された深層モデルからの伝達学習(TL)は、現代の医用画像分類(MIC)における標準的実践である
本稿では,TruncatedTLという,適切なボトム層を再利用・微調整し,残りの層を直接破棄する,新たな戦略をこのファミリーに追加する。
これにより、他の微分TL法と比較して、優れたMIC性能だけでなく、効率的な推論のためのコンパクトモデルが得られる。
- 参考スコア(独自算出の注目度): 3.1286096320995807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning (TL) from pretrained deep models is a standard practice in
modern medical image classification (MIC). However, what levels of features to
be reused are problem-dependent, and uniformly finetuning all layers of
pretrained models may be suboptimal. This insight has partly motivated the
recent differential TL strategies, such as TransFusion (TF) and layer-wise
finetuning (LWFT), which treat the layers in the pretrained models
differentially. In this paper, we add one more strategy into this family,
called TruncatedTL, which reuses and finetunes appropriate bottom layers and
directly discards the remaining layers. This yields not only superior MIC
performance but also compact models for efficient inference, compared to other
differential TL methods. Our code is available at:
https://github.com/sun-umn/TTL
- Abstract(参考訳): 事前訓練された深層モデルからの伝達学習(TL)は、現代の医用画像分類(MIC)における標準的実践である。
しかしながら、再利用すべき機能のレベルは問題に依存しており、事前訓練されたモデルのすべての層を均一に微調整することは、最適ではないかもしれない。
この知見は、TransFusion (TF) やLayer-wise Finetuning (LWFT) のような最近の微分TL戦略を部分的に動機付け、事前訓練されたモデルの層を微分的に扱う。
本稿では,TruncatedTLという,適切なボトム層を再利用・微調整し,残りの層を直接破棄する,新たな戦略をこのファミリーに追加する。
これにより、他の微分TL法と比較して、優れたMIC性能だけでなく、効率的な推論のためのコンパクトモデルが得られる。
私たちのコードは、https://github.com/sun-umn/TTLで利用可能です。
関連論文リスト
- Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。
最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
論文 参考訳(メタデータ) (2024-04-14T19:45:35Z) - Compressing Large Language Models by Streamlining the Unimportant Layer [13.03815753589673]
大規模言語モデル(LLM)は、様々な自然言語のタスクやドメインに広く適用されている。
本稿では,レイヤプルーニングと層置換という2つの部分からなるLCM-Streamlineを提案する。
提案手法であるLCM-Streamlineは,従来の最先端(SOTA)モデルプルーニング法より優れていた。
論文 参考訳(メタデータ) (2024-03-28T04:12:13Z) - LaCo: Large Language Model Pruning via Layer Collapse [63.973142426228016]
トランスフォーマーに基づく大規模言語モデル(LLM)は、サイズ拡大の顕著な傾向を目撃している。
後部モデル層が先行層に崩壊する,textitLayer Collapse (LaCo) と呼ばれる簡潔な層分割法を提案する。
実験の結果,25~30%の刈り取り率で平均タスク性能が80%以上維持されていることがわかった。
論文 参考訳(メタデータ) (2024-02-17T04:16:30Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。
本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
論文 参考訳(メタデータ) (2022-10-20T17:59:15Z) - Multi-layer Clustering-based Residual Sparsifying Transform for Low-dose
CT Image Reconstruction [11.011268090482575]
本稿では,X線CT(Computerd Tomography)再構成のためのネットワーク構造スペーシング変換学習手法を提案する。
我々は, PWLS (Palalized weighted least squares) 再構成において, MCSTモデルを正規化器に配置することにより低用量CT再構成にMCSTモデルを適用した。
シミュレーションの結果,PWLS-MCSTは従来のFBP法やEP正則化を用いたPWLSよりも画像再構成精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-03-22T09:38:41Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳(メタデータ) (2021-02-08T03:27:05Z) - Multi-layer Residual Sparsifying Transform (MARS) Model for Low-dose CT
Image Reconstruction [12.37556184089774]
教師なしの方法で学習した新しい多層モデルに基づく画像再構成手法を開発した。
提案フレームワークは、画像の古典的スカラー化変換モデルを、Multi-lAyer Residual Sparsifying transform (MARS)モデルに拡張する。
限られた正規線量画像から教師なしの方法で層間変換を学習する効率的なブロック座標降下アルゴリズムを導出する。
論文 参考訳(メタデータ) (2020-10-10T09:04:43Z) - Learned Multi-layer Residual Sparsifying Transform Model for Low-dose CT
Reconstruction [11.470070927586017]
スパース変換学習は、高度に効率的なスパースコーディングとオペレータ更新ステップを含む。
本稿では,変換領域残基を層上で共分散したMRST学習モデルを提案する。
論文 参考訳(メタデータ) (2020-05-08T02:36:50Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳(メタデータ) (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。