論文の概要: Self-supervised learning for skin cancer diagnosis with limited training
data
- arxiv url: http://arxiv.org/abs/2401.00692v1
- Date: Mon, 1 Jan 2024 08:11:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 16:22:24.699113
- Title: Self-supervised learning for skin cancer diagnosis with limited training
data
- Title(参考訳): 限られた訓練データを用いた皮膚癌診断のための自己教師あり学習
- Authors: Hamish Haggerty and Rohitash Chandra
- Abstract要約: 本稿では,Barlow Twinsと呼ばれる自己教師付き学習アルゴリズムを用いて事前学習したモデルが,従来の教師付き移動学習パイプラインよりも優れていることを示す。
自己監督型転送では平均テスト精度が70%であり, 教師型転送では66%であった。
本フレームワークは,低遅延データ構造における癌画像分類モデルに適用可能である。
- 参考スコア(独自算出の注目度): 0.2209921757303168
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cancer diagnosis is a well-studied problem in machine learning since early
detection of cancer is often the determining factor in prognosis. Supervised
deep learning achieves excellent results in cancer image classification,
usually through transfer learning. However, these models require large amounts
of labelled data and for several types of cancer, large labelled datasets do
not exist. In this paper, we demonstrate that a model pre-trained using a
self-supervised learning algorithm known as Barlow Twins can outperform the
conventional supervised transfer learning pipeline. We juxtapose two base
models: i) pretrained in a supervised fashion on ImageNet; ii) pretrained in a
self-supervised fashion on ImageNet. Both are subsequently fine tuned on a
small labelled skin lesion dataset and evaluated on a large test set. We
achieve a mean test accuracy of 70\% for self-supervised transfer in comparison
to 66\% for supervised transfer. Interestingly, boosting performance further is
possible by self-supervised pretraining a second time (on unlabelled skin
lesion images) before subsequent fine tuning. This hints at an alternative path
to collecting more labelled data in settings where this is challenging - namely
just collecting more unlabelled images. Our framework is applicable to cancer
image classification models in the low-labelled data regime.
- Abstract(参考訳): 癌の早期発見が予後決定因子であることが多いため、機械学習におけるがん診断はよく研究されている問題である。
教師付き深層学習はがん画像分類において優れた結果をもたらす。
しかし、これらのモデルは大量のラベル付きデータを必要とし、いくつかの種類のがんの場合、大きなラベル付きデータセットは存在しない。
本稿では,Barlow Twinsと呼ばれる自己教師付き学習アルゴリズムを用いて事前学習したモデルが,従来の教師付き移動学習パイプラインよりも優れていることを示す。
2つの基本モデルを並べ替えます
一 イメージネット上の監督的方法による事前訓練
二 イメージネット上の自己監督型で事前訓練すること。
両者はその後、小さなラベル付き皮膚病変データセットで微調整され、大きなテストセットで評価される。
自己監督型転送では平均テスト精度が70 %、教師型転送では66 %である。
興味深いことに、後続の微調整の前に第2の時期(未標識皮膚病変画像上)を自己指導することにより、さらなる向上性能が期待できる。
これは、ラベル付き画像の収集が難しい設定でラベル付きデータを集めるための別の経路を示唆する。
この枠組みは低ラベルデータ領域における癌画像分類モデルに適用可能である。
関連論文リスト
- A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。
SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
論文 参考訳(メタデータ) (2024-07-16T23:17:36Z) - Self-supervised visual learning in the low-data regime: a comparative evaluation [40.27083924454058]
自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための堅牢なトレーニング手法である
この研究は、現代のビジュアルSSLメソッドの分類を導入し、アプローチの主要なカテゴリに関する詳細な説明と洞察を添えた。
ドメイン固有のダウンストリームタスクでは、ドメイン内のローデータSSLプリトレーニングが大規模な事前トレーニングの一般的なアプローチより優れています。
論文 参考訳(メタデータ) (2024-04-26T07:23:14Z) - On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。
以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文 参考訳(メタデータ) (2024-03-20T17:59:58Z) - Progressive Feature Adjustment for Semi-supervised Learning from
Pretrained Models [39.42802115580677]
半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。
近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。
本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
論文 参考訳(メタデータ) (2023-09-09T01:57:14Z) - Enhancing Network Initialization for Medical AI Models Using
Large-Scale, Unlabeled Natural Images [1.883452979588382]
自己教師付き学習(SSL)は胸部X線写真に適用して、堅牢な特徴を学習することができる。
我々は6つの大規模なグローバルデータセットから800,000個の胸部X線写真を用いてアプローチを検証した。
論文 参考訳(メタデータ) (2023-08-15T10:37:13Z) - Rethinking Self-Supervised Visual Representation Learning in
Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。
我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。
我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
論文 参考訳(メタデータ) (2023-03-09T16:17:52Z) - Understanding and Improving the Role of Projection Head in
Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。
現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。
学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文 参考訳(メタデータ) (2022-12-22T05:42:54Z) - Benchmarking Self-Supervised Learning on Diverse Pathology Datasets [10.868779327544688]
自己教師付き学習は、ラベルのないデータを活用する効果的な方法であることが示されている。
我々は、病理画像データに基づいてSSL事前トレーニングを行う最大規模の研究を行う。
核インスタンスセグメンテーションの課題に対してSSLを初めて適用する。
論文 参考訳(メタデータ) (2022-12-09T06:38:34Z) - Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised
Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。
ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。
最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-14T16:34:05Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。