論文の概要: Improved skin lesion recognition by a Self-Supervised Curricular Deep
Learning approach
- arxiv url: http://arxiv.org/abs/2112.12086v1
- Date: Wed, 22 Dec 2021 17:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 15:40:15.918867
- Title: Improved skin lesion recognition by a Self-Supervised Curricular Deep
Learning approach
- Title（参考訳）: 自己監督型カリキュラム深層学習による皮膚病変認識の改善
- Authors: Kirill Sirotkin (1), Marcos Escudero Vi\~nolo (1), Pablo Carballeira
(1), Juan Carlos SanMiguel (1) ((1) Universidad Aut\'onoma de Madrid, Escuela
Polit\'ecnica Superior, Spain)
- Abstract要約: 皮膚病変認識のための最先端のディープラーニングアプローチは、より大きな、より多様なデータセットを事前訓練する必要があることが多い。
ImageNetはしばしば事前トレーニングデータセットとして使用されるが、その転送ポテンシャルは、ソースデータセットとターゲット皮膚内視鏡シナリオの間のドメインギャップによって妨げられる。
そこで本研究では,一連のセルフ・スーパーバイザード・ラーニング・プレテキストタスクを逐次訓練する,新しい事前学習手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art deep learning approaches for skin lesion recognition often
require pretraining on larger and more varied datasets, to overcome the
generalization limitations derived from the reduced size of the skin lesion
imaging datasets. ImageNet is often used as the pretraining dataset, but its
transferring potential is hindered by the domain gap between the source dataset
and the target dermatoscopic scenario. In this work, we introduce a novel
pretraining approach that sequentially trains a series of Self-Supervised
Learning pretext tasks and only requires the unlabeled skin lesion imaging
data. We present a simple methodology to establish an ordering that defines a
pretext task curriculum. For the multi-class skin lesion classification
problem, and ISIC-2019 dataset, we provide experimental evidence showing that:
i) a model pretrained by a curriculum of pretext tasks outperforms models
pretrained by individual pretext tasks, and ii) a model pretrained by the
optimal pretext task curriculum outperforms a model pretrained on ImageNet. We
demonstrate that this performance gain is related to the fact that the
curriculum of pretext tasks better focuses the attention of the final model on
the skin lesion. Beyond performance improvement, this strategy allows for a
large reduction in the training time with respect to ImageNet pretraining,
which is especially advantageous for network architectures tailored for a
specific problem.
- Abstract（参考訳）: 皮膚病変画像データセットの縮小による一般化限界を克服するため、皮膚病変認識のための最先端のディープラーニングアプローチは、より大きな、より多様なデータセットで事前訓練を必要とすることが多い。
ImageNetはしばしば事前トレーニングデータセットとして使用されるが、その転送ポテンシャルはソースデータセットと対象皮膚内視鏡シナリオの間のドメインギャップによって妨げられる。
本研究では,一連の自己教師付き学習プリテキストタスクを逐次学習し,ラベルなし皮膚病変イメージングデータのみを必要とする新しい事前学習手法を提案する。
プレテキストタスクのカリキュラムを定義する順序付けを確立するための簡単な手法を提案する。
マルチクラス皮膚病変分類問題とISIC-2019データセットについて, 以下の結果が得られた。
一 プリテキストタスクのカリキュラムにより事前訓練されたモデルは、個別のプリテキストタスクにより事前訓練されたモデルを上回るものであって、
二 最適なプリテキストタスクカリキュラムにより事前訓練されたモデルは、imagenetで事前訓練されたモデルを上回るもの。
この性能向上は,前文課題のカリキュラムが皮膚病変に対する最終モデルの注意をより重視していることに関連していることを示す。
パフォーマンスの改善以外にも、この戦略はImageNet事前トレーニングに対するトレーニング時間の大幅な削減を可能にし、特に特定の問題に適したネットワークアーキテクチャに有利である。
関連論文リスト
- Enhancing pretraining efficiency for medical image segmentation via transferability metrics [0.0]
医用画像のセグメンテーションタスクでは、ラベル付きトレーニングデータの不足が大きな課題となっている。
本稿では,事前学習したモデルが対象データをいかに頑健に表現できるかを計測する,対照的な学習に基づく新しい伝達可能性指標を提案する。
論文 参考訳（メタデータ） (2024-10-24T12:11:52Z) - Self-Supervised Pre-Training with Contrastive and Masked Autoencoder
Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging [8.34398674359296]
医用画像の深層学習は、診断ミスのリスクを最小限に抑え、放射線医の作業量を減らし、診断を加速する可能性がある。
このようなディープラーニングモデルのトレーニングには,すべてのトレーニングサンプルに対するアノテーションを備えた,大規模かつ正確なデータセットが必要です。
この課題に対処するために、ディープラーニングモデルは、自己教師付き学習の分野からのメソッドを使用してアノテーションなしで、大規模な画像データセット上で事前トレーニングすることができる。
論文 参考訳（メタデータ） (2023-08-12T11:31:01Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Self-Supervised-RCNN for Medical Image Segmentation with Limited Data
Annotation [0.16490701092527607]
ラベルなしMRIスキャンによる自己教師付き事前学習に基づく新たなディープラーニング学習戦略を提案する。
我々の事前学習アプローチはまず、ラベルのない画像のランダム領域に異なる歪みをランダムに適用し、次に歪みの種類と情報の損失を予測する。
異なる事前学習シナリオと微調整シナリオにおけるセグメンテーション課題に対する提案手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-07-17T13:28:52Z) - Intelligent Masking: Deep Q-Learning for Context Encoding in Medical
Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。
予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-03-25T19:05:06Z) - On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。
画像事前学習の詳細な研究について述べる。
低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
論文 参考訳（メタデータ） (2021-12-19T15:50:48Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z) - Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。
本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。
HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
論文 参考訳（メタデータ） (2021-03-23T17:37:51Z) - Adversarially-Trained Deep Nets Transfer Better: Illustration on Image
Classification [53.735029033681435]
トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。
本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-07-11T22:48:42Z) - Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。
特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文 参考訳（メタデータ） (2020-05-05T08:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。