論文の概要: Revisiting Fine-Tuning Strategies for Self-supervised Medical Imaging Analysis

• arxiv url: http://arxiv.org/abs/2307.10915v1
• Date: Thu, 20 Jul 2023 14:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 12:40:09.892960
• Title: Revisiting Fine-Tuning Strategies for Self-supervised Medical Imaging Analysis
• Title（参考訳）: 自己監視医用画像解析のための微調整戦略の再検討
• Authors: Muhammad Osama Khan, Yi Fang
• Abstract要約: トレーニング済みネットワークの最後の数層を微調整するよりも、微調整の中間層の方が効果的であることを示す。 エンドツーエンドファインチューニングのデファクト標準と比較すると、より浅いネットワークを微調整する最良のファインチューニング戦略は、最大5.48%の改善をもたらす。
• 参考スコア（独自算出の注目度）: 8.25948490118773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid progress in self-supervised learning (SSL), end-to-end fine-tuning still remains the dominant fine-tuning strategy for medical imaging analysis. However, it remains unclear whether this approach is truly optimal for effectively utilizing the pre-trained knowledge, especially considering the diverse categories of SSL that capture different types of features. In this paper, we first establish strong contrastive and restorative SSL baselines that outperform SOTA methods across four diverse downstream tasks. Building upon these strong baselines, we conduct an extensive fine-tuning analysis across multiple pre-training and fine-tuning datasets, as well as various fine-tuning dataset sizes. Contrary to the conventional wisdom of fine-tuning only the last few layers of a pre-trained network, we show that fine-tuning intermediate layers is more effective, with fine-tuning the second quarter (25-50%) of the network being optimal for contrastive SSL whereas fine-tuning the third quarter (50-75%) of the network being optimal for restorative SSL. Compared to the de-facto standard of end-to-end fine-tuning, our best fine-tuning strategy, which fine-tunes a shallower network consisting of the first three quarters (0-75%) of the pre-trained network, yields improvements of as much as 5.48%. Additionally, using these insights, we propose a simple yet effective method to leverage the complementary strengths of multiple SSL models, resulting in enhancements of up to 3.57% compared to using the best model alone. Hence, our fine-tuning strategies not only enhance the performance of individual SSL models, but also enable effective utilization of the complementary strengths offered by multiple SSL models, leading to significant improvements in self-supervised medical imaging analysis.
• Abstract（参考訳）: 自己教師付き学習(SSL)の急速な進歩にもかかわらず、医用画像解析におけるエンド・ツー・エンドの微調整戦略は依然として主流である。 しかし、この手法が訓練済みの知識を効果的に活用するのに本当に最適なのか、特に異なるタイプの特徴を捉えたSSLの多様なカテゴリを考慮すると、はっきりしない。 本稿では,まず,4つの下流タスクにおいてSOTAメソッドを上回り,強力なコントラスト的かつ復元的なSSLベースラインを確立する。 これらの強力なベースラインに基づいて、複数の事前トレーニングおよび微調整データセット、および様々な微調整データセットサイズにわたる広範囲な微調整分析を行う。 トレーニング済みネットワークの最後の数層のみを微調整するという従来の知恵とは対照的に、細調整中間層はより効果的であり、ネットワークの第2四半期(25-50%)は対照的なSSLに最適であるのに対して、第3四半期(50-75%)は復元SSLに最適である。 エンドツーエンドファインチューニングのデファクト標準と比較すると、トレーニング済みネットワークの最初の3/3(0-75%)からなる浅層ネットワークを微調整し、最大5.48%の改善を実現しています。 さらに,これらの知見を用いて,複数のSSLモデルの相補的強みを利用した簡易かつ効果的な手法を提案する。 したがって,個々のsslモデルの性能を向上させるだけでなく,複数のsslモデルが提供する補完的強みを効果的に活用することで,自己監視型医用画像解析の大幅な改善を実現した。

関連論文リスト

• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Comparison of fine-tuning strategies for transfer learning in medical image classification [2.271776292902496]
  先進的な事前訓練モデルが利用可能であるにもかかわらず、医用画像への直接の応用は、医学データ特有の特徴のため、しばしば不足する。 本研究は,医療画像領域の領域にまたがる事前学習モデルに適用した各種微調整法の性能に関する総合的な分析を行う。
  論文  参考訳（メタデータ） (2024-06-14T14:00:02Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Self-supervised learning for skin cancer diagnosis with limited training data [0.196629787330046]
  自己教師付き学習(SSL)は、限られたトレーニングデータを持つシナリオに対するImageNetの標準教師付き事前トレーニングの代替である。 textitfurther SSL をタスク固有のデータセットで事前トレーニングし、その実装は教師あり転送学習によって動機づけられる。 タスク固有のデータに対するより最小限のSSL事前トレーニングは、限られたラベル付きデータによる医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的である。
  論文  参考訳（メタデータ） (2024-01-01T08:11:38Z)
• Rethinking Self-Supervised Visual Representation Learning in Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
  自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。 我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。 我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
  論文  参考訳（メタデータ） (2023-03-09T16:17:52Z)
• Benchmarking Self-Supervised Learning on Diverse Pathology Datasets [10.868779327544688]
  自己教師付き学習は、ラベルのないデータを活用する効果的な方法であることが示されている。 我々は、病理画像データに基づいてSSL事前トレーニングを行う最大規模の研究を行う。 核インスタンスセグメンテーションの課題に対してSSLを初めて適用する。
  論文  参考訳（メタデータ） (2022-12-09T06:38:34Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Training Strategies for Improved Lip-reading [61.661446956793604]
  本研究では,最先端データ拡張手法,時間モデル,その他のトレーニング戦略の性能について検討する。 すべての手法を組み合わせると、分類精度は93.4%となり、現在の最先端技術よりも4.6%向上した。 各種学習手法の誤り解析により, 難解な単語の分類精度を高めることにより, 性能が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-03T09:38:11Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。