論文の概要: Mitigating Overfitting in Medical Imaging: Self-Supervised Pretraining vs. ImageNet Transfer Learning for Dermatological Diagnosis

• arxiv url: http://arxiv.org/abs/2505.16773v1
• Date: Thu, 22 May 2025 15:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.386409
• Title: Mitigating Overfitting in Medical Imaging: Self-Supervised Pretraining vs. ImageNet Transfer Learning for Dermatological Diagnosis
• Title（参考訳）: 医用画像におけるオーバーフィッティングの軽減--皮膚科診断のための自己指導型プレトレーニングとイメージネットトランスファーラーニング
• Authors: Iván Matas, Carmen Serrano, Miguel Nogales, David Moreno, Lara Ferrándiz, Teresa Ojeda, Begoña Acha,
• Abstract要約: 本研究では,高価値皮膚科学的特徴を抽出する教師なし学習フレームワークを提案する。 我々は、独自の皮膚科学データセットに基づいて、スクラッチから訓練された変分オートエンコーダを用いる。 自己教師付き学習は、安定した改善、より強力な一般化、優れた適応性を達成する。
• 参考スコア（独自算出の注目度）: 0.5025737475817937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has transformed computer vision but relies heavily on large labeled datasets and computational resources. Transfer learning, particularly fine-tuning pretrained models, offers a practical alternative; however, models pretrained on natural image datasets such as ImageNet may fail to capture domain-specific characteristics in medical imaging. This study introduces an unsupervised learning framework that extracts high-value dermatological features instead of relying solely on ImageNet-based pretraining. We employ a Variational Autoencoder (VAE) trained from scratch on a proprietary dermatological dataset, allowing the model to learn a structured and clinically relevant latent space. This self-supervised feature extractor is then compared to an ImageNet-pretrained backbone under identical classification conditions, highlighting the trade-offs between general-purpose and domain-specific pretraining. Our results reveal distinct learning patterns. The self-supervised model achieves a final validation loss of 0.110 (-33.33%), while the ImageNet-pretrained model stagnates at 0.100 (-16.67%), indicating overfitting. Accuracy trends confirm this: the self-supervised model improves from 45% to 65% (+44.44%) with a near-zero overfitting gap, whereas the ImageNet-pretrained model reaches 87% (+50.00%) but plateaus at 75% (+19.05%), with its overfitting gap increasing to +0.060. These findings suggest that while ImageNet pretraining accelerates convergence, it also amplifies overfitting on non-clinically relevant features. In contrast, self-supervised learning achieves steady improvements, stronger generalization, and superior adaptability, underscoring the importance of domain-specific feature extraction in medical imaging.
• Abstract（参考訳）: ディープラーニングはコンピュータビジョンを変えてきたが、大きなラベル付きデータセットや計算資源に大きく依存している。 転送学習(特に微調整事前訓練モデル)は、実用的な代替手段を提供するが、ImageNetのような自然画像データセットで事前訓練されたモデルは、医用画像におけるドメイン固有の特徴を捉えない可能性がある。 本研究では、ImageNetベースの事前学習のみに頼るのではなく、高価値皮膚学の特徴を抽出する教師なし学習フレームワークを提案する。 我々は、独自の皮膚科学データセットをスクラッチから訓練した変分オートエンコーダ(VAE)を用いて、モデルが構造化され、臨床的に関係のある潜伏空間を学習できるようにする。 この自己教師付き特徴抽出器は、同一の分類条件下で、ImageNetで事前訓練されたバックボーンと比較され、汎用とドメイン固有の事前訓練のトレードオフが強調される。 結果は,異なる学習パターンを明らかにした。 自己教師型モデルは0.110(-33.33%)の最終的な検証損失を達成し、ImageNetで事前訓練されたモデルは0.100(-16.67%)で停滞し、過度な適合を示す。 自己監督モデルは、ほぼゼロのオーバーフィッティングギャップで45%から65%(+44.44%)に改善され、ImageNet-pretrainedモデルは87%(+50.00%)に達したが、75%(+19.05%)で、オーバーフィッティングギャップは+0.060に増加した。 これらの結果は、ImageNet事前学習が収束を加速する一方で、非周期的な機能に対する過度な適合を増幅していることを示唆している。 対照的に、自己教師付き学習は、医療画像におけるドメイン固有の特徴抽出の重要性を強調し、安定した改善、より強力な一般化、優れた適応性を実現している。

関連論文リスト

• Self-Supervised Learning in Deep Networks: A Pathway to Robust Few-Shot Classification [0.0]
  まず、ラベルのない大量のデータから共通特徴表現を学習できるように、自己スーパービジョンでモデルを事前訓練する。 その後、数ショットのデータセットMini-ImageNetで微調整を行い、限られたデータの下でモデルの精度と一般化能力を改善する。
  論文  参考訳（メタデータ） (2024-11-19T01:01:56Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• MoVL:Exploring Fusion Strategies for the Domain-Adaptive Application of Pretrained Models in Medical Imaging Tasks [6.8948885302235325]
  本稿では,入力医療画像と自然事前学習型視覚モデルとのギャップを埋めるために視覚刺激(VP)を導入する。 本稿では,分類損失と差分損失を含む共同学習損失関数を設計し,インパルス画像とプレーン画像のばらつきを記述した。 分布医学データセットの内訳では,本手法(90.33%)はFF(85.15%)を5.18%リードで上回りうる。
  論文  参考訳（メタデータ） (2024-05-13T01:18:25Z)
• Revisiting Hidden Representations in Transfer Learning for Medical Imaging [2.4545492329339815]
  7つの医学分類課題について,ImageNetとRadImageNetを比較した。 その結果,ImageNetとRadImageNetは直感とは対照的に,異なる中間表現に収束する可能性が示唆された。 その結果, ネットワーク間の微調整前後の類似性は, 性能向上と相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-02-16T13:04:59Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• Application of Transfer Learning and Ensemble Learning in Image-level Classification for Breast Histopathology [9.037868656840736]
  CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。 本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。 結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
  論文  参考訳（メタデータ） (2022-04-18T13:31:53Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• Intelligent Masking: Deep Q-Learning for Context Encoding in Medical Image Analysis [48.02011627390706]
  我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。 予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T19:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。