論文の概要: Self-supervised learning for skin cancer diagnosis with limited training data
- arxiv url: http://arxiv.org/abs/2401.00692v2
- Date: Sat, 26 Oct 2024 06:38:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:15:19.270319
- Title: Self-supervised learning for skin cancer diagnosis with limited training data
- Title（参考訳）: 限られた訓練データを用いた皮膚癌診断のための自己教師あり学習
- Authors: Hamish Haggerty, Rohitash Chandra,
- Abstract要約: 自己教師付き学習(SSL)は、限られたトレーニングデータを持つシナリオに対するImageNetデータの標準教師付き事前トレーニングの代替である。
タスク固有のデータに対する最小限のSSL事前トレーニングは、限られたラベル付きデータを含む医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的であることがわかった。
- 参考スコア（独自算出の注目度）: 0.196629787330046
- License:
- Abstract: Early cancer detection is crucial for prognosis, but many cancer types lack large labelled datasets required for developing deep learning models. This paper investigates self-supervised learning (SSL) as an alternative to the standard supervised pre-training on ImageNet data for scenarios with limited training data using the ResNet-50 deep learning model. We first demonstrate that SSL pre-training on ImageNet (via the Barlow Twins SSL algorithm) outperforms supervised pre-training (SL) using a skin lesion dataset with limited training samples. We then consider further SSL pre-training (of the two ImageNet pre-trained models) on task-specific datasets, where our implementation is motivated by supervised transfer learning. The SSL significantly enhances initially SL pre-trained models, closing the performance gap with initially SSL pre-trained ones. Surprisingly, further pre-training on just the limited fine-tuning data achieves this performance equivalence. We implement a linear probe training strategy in the RestNet-50 model, and our experiments reveal that improvement stems from enhanced feature extraction. We find that minimal further SSL pre-training on task-specific data can be as effective as large-scale SSL pre-training on ImageNet for medical image classification tasks with limited labelled data. We validate these results on an oral cancer histopathology dataset, suggesting broader applicability across medical imaging domains facing labelled data scarcity.
- Abstract（参考訳）: 早期がん検出は予後に不可欠であるが、多くのがんはディープラーニングモデルを開発するのに必要な大きなラベル付きデータセットを欠いている。
本稿では、ResNet-50ディープラーニングモデルを用いて、限られたトレーニングデータを持つシナリオに対して、ImageNetデータ上で教師付き事前学習を行う標準の代替として、自己教師付き学習(SSL)について検討する。
我々はまず,ImageNet上のSSL事前トレーニング(Barlow Twins SSLアルゴリズム)が,限られたトレーニングサンプルを持つ皮膚病変データセットを用いて教師付き事前トレーニング(SL)より優れていることを実証した。
次に、タスク固有のデータセットにおけるSSL事前トレーニング(2つのImageNet事前トレーニングモデル)について検討する。
SSLは、初期のSL事前トレーニングモデルを大幅に強化し、初期のSSL事前トレーニングモデルとのパフォーマンスギャップを埋める。
驚いたことに、限られた微調整データのみの事前学習により、この性能等価性が達成される。
本研究では,RestNet-50モデルに線形プローブ学習戦略を実装した。
タスク固有のデータに対する最小限のSSL事前トレーニングは、限られたラベル付きデータを含む医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的であることがわかった。
これらの結果は口腔癌の病理組織学的データセットで検証され、ラベル付きデータ不足に直面した医療画像領域で広く適用可能であることが示唆された。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳（メタデータ） (2024-07-16T23:17:36Z) - Self-supervised visual learning in the low-data regime: a comparative evaluation [40.27083924454058]
自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための堅牢なトレーニング手法である
この研究は、現代のビジュアルSSLメソッドの分類を導入し、アプローチの主要なカテゴリに関する詳細な説明と洞察を添えた。
ドメイン固有のダウンストリームタスクでは、ドメイン内のローデータSSLプリトレーニングが大規模な事前トレーニングの一般的なアプローチより優れています。
論文 参考訳（メタデータ） (2024-04-26T07:23:14Z) - On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。
以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文 参考訳（メタデータ） (2024-03-20T17:59:58Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳（メタデータ） (2023-09-09T01:57:14Z) - Enhancing Network Initialization for Medical AI Models Using
Large-Scale, Unlabeled Natural Images [1.883452979588382]
自己教師付き学習(SSL)は胸部X線写真に適用して、堅牢な特徴を学習することができる。
我々は6つの大規模なグローバルデータセットから800,000個の胸部X線写真を用いてアプローチを検証した。
論文 参考訳（メタデータ） (2023-08-15T10:37:13Z) - Rethinking Self-Supervised Visual Representation Learning in
Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。
我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。
我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
論文 参考訳（メタデータ） (2023-03-09T16:17:52Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳（メタデータ） (2022-12-22T05:42:54Z) - Benchmarking Self-Supervised Learning on Diverse Pathology Datasets [10.868779327544688]
自己教師付き学習は、ラベルのないデータを活用する効果的な方法であることが示されている。
我々は、病理画像データに基づいてSSL事前トレーニングを行う最大規模の研究を行う。
核インスタンスセグメンテーションの課題に対してSSLを初めて適用する。
論文 参考訳（メタデータ） (2022-12-09T06:38:34Z) - Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised
Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。
ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。
最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-14T16:34:05Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳（メタデータ） (2022-03-17T02:38:49Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。