論文の概要: Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance

• arxiv url: http://arxiv.org/abs/2410.14524v1
• Date: Fri, 18 Oct 2024 15:08:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:11.343881
• Title: Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance
• Title（参考訳）: 比較学習を用いた自己監督型ディープラーニングモデルのためのCTデータの選択的削減による下流分類性能の向上
• Authors: Daniel Wolf, Tristan Payer, Catharina Silvia Lisson, Christoph Gerhard Lisson, Meinrad Beer, Michael Götz, Timo Ropinski,
• Abstract要約: 現在の知見は、医用画像における対照的な事前トレーニングの可能性を示している。 医用画像の類似性は、医用画像領域における対照的な学習の成功を妨げていると仮定する。 医療用事前学習データセットの冗長性を同定・低減するために, 深層埋め込み, 情報理論, ハッシュに基づく様々な戦略を検討する。
• 参考スコア（独自算出の注目度）: 7.945551345449388
• License:
• Abstract: Self-supervised pre-training of deep learning models with contrastive learning is a widely used technique in image analysis. Current findings indicate a strong potential for contrastive pre-training on medical images. However, further research is necessary to incorporate the particular characteristics of these images. We hypothesize that the similarity of medical images hinders the success of contrastive learning in the medical imaging domain. To this end, we investigate different strategies based on deep embedding, information theory, and hashing in order to identify and reduce redundancy in medical pre-training datasets. The effect of these different reduction strategies on contrastive learning is evaluated on two pre-training datasets and several downstream classification tasks. In all of our experiments, dataset reduction leads to a considerable performance gain in downstream tasks, e.g., an AUC score improvement from 0.78 to 0.83 for the COVID CT Classification Grand Challenge, 0.97 to 0.98 for the OrganSMNIST Classification Challenge and 0.73 to 0.83 for a brain hemorrhage classification task. Furthermore, pre-training is up to nine times faster due to the dataset reduction. In conclusion, the proposed approach highlights the importance of dataset quality and provides a transferable approach to improve contrastive pre-training for classification downstream tasks on medical images.
• Abstract（参考訳）: コントラスト学習を用いたディープラーニングモデルの自己教師付き事前学習は、画像解析において広く用いられている手法である。 現在の知見は、医用画像における対照的な事前トレーニングの可能性を示している。 しかし,これらの画像の特徴を取り入れるためには,さらなる研究が必要である。 医用画像の類似性は、医用画像領域における対照的な学習の成功を妨げていると仮定する。 そこで本研究では, 深層埋め込み, 情報理論, ハッシュに基づく, 医療用事前学習データセットの冗長性を同定し, 低減するための様々な戦略について検討する。 2つの事前学習データセットと複数の下流分類タスクにおいて、これらの異なる還元戦略がコントラスト学習に与える影響を評価する。 以上の結果から,AUC スコアは COVID CT 分類グランドチャレンジでは 0.78 から 0.83 に,OrganSMNIST 分類チャレンジでは 0.97 から 0.98 に,脳出血分類タスクでは 0.73 から 0.83 に向上した。 さらに、データセットの削減により、事前トレーニングは最大9倍高速になる。 結論として、提案手法はデータセットの品質の重要性を強調し、医用画像上の下流タスクの分類のための対照的な事前学習を改善するための伝達可能なアプローチを提供する。

関連論文リスト

• Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
  低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。 提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。 次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
  論文  参考訳（メタデータ） (2024-03-26T09:36:20Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• Performance or Trust? Why Not Both. Deep AUC Maximization with Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
  ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。 本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
  論文  参考訳（メタデータ） (2021-12-14T21:16:52Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• About Explicit Variance Minimization: Training Neural Networks for Medical Imaging With Limited Data Annotations [2.3204178451683264]
  VAT(Variance Aware Training)法は、モデル損失関数に分散誤差を導入することにより、この特性を利用する。 多様な領域から得られた3つの医用画像データセットと様々な学習目標に対するVATの有効性を検証した。
  論文  参考訳（メタデータ） (2021-05-28T21:34:04Z)
• Transfer Learning with Ensembles of Deep Neural Networks for Skin Cancer Classification in Imbalanced Data Sets [0.6802401545890961]
  医療画像から皮膚癌を正確に分類するための機械学習技術が報告されている。 多くのテクニックは、訓練済みの畳み込みニューラルネットワーク(CNN)に基づいており、限られたトレーニングデータに基づいてモデルをトレーニングすることができる。 本稿では,複数のcnnモデルが事前学習され,一部は手元のデータのみにトレーニングされ,患者情報(メタデータ)はメタリーナーを用いて結合される,新しいアンサンブルベースのcnnアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:04:45Z)
• Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning [91.3755431537592]
  我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。 マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。 我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
  論文  参考訳（メタデータ） (2020-09-22T11:53:06Z)
• Joint Learning of Vessel Segmentation and Artery/Vein Classification with Post-processing [27.825969553813092]
  血管分節と動脈・静脈の分類は、潜在的な疾患について様々な情報を提供する。 我々は、UNetベースのモデルSeqNetを採用し、背景から船舶を正確に分割し、船舶のタイプを予測する。 実験の結果,AUCを0.98に改善し,DRIVEデータセットの分類精度は0.92に向上した。
  論文  参考訳（メタデータ） (2020-05-27T13:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。