論文の概要: Self-Supervised Pre-Training with Contrastive and Masked Autoencoder
Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging
- arxiv url: http://arxiv.org/abs/2308.06534v4
- Date: Thu, 2 Nov 2023 09:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 16:54:09.473789
- Title: Self-Supervised Pre-Training with Contrastive and Masked Autoencoder
Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging
- Title（参考訳）: 医用画像の深層学習における小データ処理のためのコントラスト・マスクオートエンコーダ法による自己監督型事前訓練
- Authors: Daniel Wolf, Tristan Payer, Catharina Silvia Lisson, Christoph Gerhard
Lisson, Meinrad Beer, Michael G\"otz, Timo Ropinski
- Abstract要約: 医用画像の深層学習は、診断ミスのリスクを最小限に抑え、放射線医の作業量を減らし、診断を加速する可能性がある。
このようなディープラーニングモデルのトレーニングには,すべてのトレーニングサンプルに対するアノテーションを備えた,大規模かつ正確なデータセットが必要です。
この課題に対処するために、ディープラーニングモデルは、自己教師付き学習の分野からのメソッドを使用してアノテーションなしで、大規模な画像データセット上で事前トレーニングすることができる。
- 参考スコア（独自算出の注目度）: 8.34398674359296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning in medical imaging has the potential to minimize the risk of
diagnostic errors, reduce radiologist workload, and accelerate diagnosis.
Training such deep learning models requires large and accurate datasets, with
annotations for all training samples. However, in the medical imaging domain,
annotated datasets for specific tasks are often small due to the high
complexity of annotations, limited access, or the rarity of diseases. To
address this challenge, deep learning models can be pre-trained on large image
datasets without annotations using methods from the field of self-supervised
learning. After pre-training, small annotated datasets are sufficient to
fine-tune the models for a specific task. The most popular self-supervised
pre-training approaches in medical imaging are based on contrastive learning.
However, recent studies in natural image processing indicate a strong potential
for masked autoencoder approaches. Our work compares state-of-the-art
contrastive learning methods with the recently introduced masked autoencoder
approach "SparK" for convolutional neural networks (CNNs) on medical images.
Therefore we pre-train on a large unannotated CT image dataset and fine-tune on
several CT classification tasks. Due to the challenge of obtaining sufficient
annotated training data in medical imaging, it is of particular interest to
evaluate how the self-supervised pre-training methods perform when fine-tuning
on small datasets. By experimenting with gradually reducing the training
dataset size for fine-tuning, we find that the reduction has different effects
depending on the type of pre-training chosen. The SparK pre-training method is
more robust to the training dataset size than the contrastive methods. Based on
our results, we propose the SparK pre-training for medical imaging tasks with
only small annotated datasets.
- Abstract（参考訳）: 医用画像の深層学習は、診断ミスのリスクを最小限に抑え、放射線医の作業量を減らし、診断を加速する可能性がある。
このようなディープラーニングモデルのトレーニングには,すべてのトレーニングサンプルに対するアノテーションを備えた,大規模かつ正確なデータセットが必要です。
しかし、医療画像領域では、アノテーションの複雑さやアクセスの制限、病気の希少さなどにより、特定のタスクのための注釈付きデータセットは少ないことが多い。
この課題に対処するために、ディープラーニングモデルは、自己教師付き学習の分野からのメソッドを使用するアノテーションなしで、大規模なイメージデータセットで事前トレーニングすることができる。
事前トレーニング後、小さな注釈付きデータセットは、特定のタスクのためにモデルを微調整するのに十分です。
医療画像における自己教師付き事前学習の最も一般的なアプローチは、コントラスト学習に基づいている。
しかし、近年の自然画像処理の研究は、マスク付きオートエンコーダアプローチに強い可能性を示している。
我々の研究は、医学画像上の畳み込みニューラルネットワーク(CNN)のためのマスク付きオートエンコーダアプローチ "SparK" と比較した。
そこで我々は,大規模無注釈CT画像データセットといくつかのCT分類タスクを事前訓練した。
医用画像における十分なアノテートトレーニングデータを取得することの難しさから,小データセットの微調整において自己教師付き事前学習法がどのように機能するかを評価することが特に重要である。
微調整のためのトレーニングデータセットサイズを段階的に縮小させることにより,事前学習の種類によって異なる効果が得られた。
SparK事前学習法は、対照的な方法よりもトレーニングデータセットサイズに対して堅牢である。
そこで本研究では,小さな注釈付きデータセットのみを用いたSparKプリトレーニングを提案する。
関連論文リスト
- Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Self-Supervised Pretraining for 2D Medical Image Segmentation [0.0]
自己教師付き学習は、不正なデータに対して特定のドメインのモデルを事前訓練することで、手動でアノテートされたデータの必要性を下げる手段を提供する。
自然画像と対象領域固有の画像による自己教師付き事前学習は、最も速く、最も安定した下流収束をもたらす。
低データシナリオでは、教師付きImageNet事前トレーニングが最も正確であり、最小限のエラーに近づくためには100以上の注釈付きサンプルが必要である。
論文 参考訳（メタデータ） (2022-09-01T09:25:22Z) - Compound Figure Separation of Biomedical Images: Mining Large Datasets
for Self-supervised Learning [12.445324044675116]
本稿では,リソースの広範なバウンディングボックスアノテーションの必要性を最小限に抑えるシミュレーションベースのトレーニングフレームワークを提案する。
また,合成図形分離に最適化された新たなサイドロスを提案する。
本研究は,複合画像分離による自己教師あり学習の有効性を評価する最初の研究である。
論文 参考訳（メタデータ） (2022-08-30T16:02:34Z) - RadTex: Learning Efficient Radiograph Representations from Text Reports [7.090896766922791]
我々は,放射線学報告を利用して,限られたラベル付きデータを用いた医用画像分類性能を向上させるための,データ効率のよい学習フレームワークを構築した。
本モデルは,ラベル付きトレーニングデータに制限がある場合,ImageNetによる事前学習よりも高い分類性能を実現する。
論文 参考訳（メタデータ） (2022-08-05T15:06:26Z) - Self-Supervised-RCNN for Medical Image Segmentation with Limited Data
Annotation [0.16490701092527607]
ラベルなしMRIスキャンによる自己教師付き事前学習に基づく新たなディープラーニング学習戦略を提案する。
我々の事前学習アプローチはまず、ラベルのない画像のランダム領域に異なる歪みをランダムに適用し、次に歪みの種類と情報の損失を予測する。
異なる事前学習シナリオと微調整シナリオにおけるセグメンテーション課題に対する提案手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-07-17T13:28:52Z) - Self-Supervised Learning as a Means To Reduce the Need for Labeled Data
in Medical Image Analysis [64.4093648042484]
胸部X線画像のデータセットとバウンディングボックスラベルを用いて,13種類の異常の分類を行った。
ラベル付きデータの平均精度と精度を60%に抑えることで,完全教師付きモデルと同等の性能が得られることを示す。
論文 参考訳（メタデータ） (2022-06-01T09:20:30Z) - Intelligent Masking: Deep Q-Learning for Context Encoding in Medical
Image Analysis [48.02011627390706]
我々は,対象地域を排除し,事前訓練の手順を改善する,新たな自己指導型アプローチを開発した。
予測モデルに対してエージェントを訓練することで、下流の分類タスクで抽出した意味的特徴を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-03-25T19:05:06Z) - About Explicit Variance Minimization: Training Neural Networks for
Medical Imaging With Limited Data Annotations [2.3204178451683264]
VAT(Variance Aware Training)法は、モデル損失関数に分散誤差を導入することにより、この特性を利用する。
多様な領域から得られた3つの医用画像データセットと様々な学習目標に対するVATの有効性を検証した。
論文 参考訳（メタデータ） (2021-05-28T21:34:04Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳（メタデータ） (2020-05-03T02:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。