論文の概要: How Transferable Are Self-supervised Features in Medical Image Classification Tasks?

• arxiv url: http://arxiv.org/abs/2108.10048v1
• Date: Mon, 23 Aug 2021 10:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:41:08.077527
• Title: How Transferable Are Self-supervised Features in Medical Image Classification Tasks?
• Title（参考訳）: 医用画像分類作業における自己監督機能はどの程度可能か?
• Authors: Tuan Truong, Sadegh Mohammadi, Matthias Lenga
• Abstract要約: トランスファーラーニングは、医学分類タスクにおけるラベル付きデータの欠如を軽減するための標準的プラクティスとなっている。 自己教師付き事前訓練モデルでは、教師付きモデルよりもリッチな埋め込みが得られる。 Dynamic Visual Meta-Embedding (DVME)は、複数のモデルから事前学習された埋め込みを融合するエンドツーエンドのトランスファー学習アプローチである。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has become a standard practice to mitigate the lack of labeled data in medical classification tasks. Whereas finetuning a downstream task using supervised ImageNet pretrained features is straightforward and extensively investigated in many works, there is little study on the usefulness of self-supervised pretraining. In this paper, we assess the transferability of ImageNet self-supervisedpretraining by evaluating the performance of models initialized with pretrained features from three self-supervised techniques (SimCLR, SwAV, and DINO) on selected medical classification tasks. The chosen tasks cover tumor detection in sentinel axillary lymph node images, diabetic retinopathy classification in fundus images, and multiple pathological condition classification in chest X-ray images. We demonstrate that self-supervised pretrained models yield richer embeddings than their supervised counterpart, which benefits downstream tasks in view of both linear evaluation and finetuning. For example, in view of linear evaluation at acritically small subset of the data, we see an improvement up to 14.79% in Kappa score in the diabetic retinopathy classification task, 5.4% in AUC in the tumor classification task, 7.03% AUC in the pneumonia detection, and 9.4% in AUC in the detection of pathological conditions in chest X-ray. In addition, we introduce Dynamic Visual Meta-Embedding (DVME) as an end-to-end transfer learning approach that fuses pretrained embeddings from multiple models. We show that the collective representation obtained by DVME leads to a significant improvement in the performance of selected tasks compared to using a single pretrained model approach and can be generalized to any combination of pretrained models.
• Abstract（参考訳）: 転送学習は、医学分類タスクにおけるラベル付きデータの欠如を軽減するための標準的プラクティスとなっている。 教師付きイメージネット事前学習機能を用いた下流タスクの微調整は簡単であり,多くの研究で広く研究されているが,自己教師付き事前学習の有用性についてはほとんど研究されていない。 本稿では,3つの自己教師技術 (simclr, swav, dino) から初期化したモデルの性能を評価することにより,imagenetの自己教師付きプリトレーニングの伝達性を評価する。 選択された課題は, センチネル軸索リンパ節像における腫瘍検出, 底部画像における糖尿病網膜症分類, 胸部X線画像における複数の病態分類である。 本研究では, 自己教師付き事前学習モデルにより, 教師付きモデルよりもリッチな埋め込みが得られ, 線形評価と微調整の両面から下流タスクの恩恵を受けることを示す。 例えば、糖尿病性網膜症分類タスクにおけるkappaスコアの最大14.79%、腫瘍分類タスクにおけるaucの5.4%、肺炎検出における7.03%、胸部x線における病理状態の検出におけるaucの9.4%が改善されている。 さらに,複数のモデルから事前学習した埋め込みを融合するエンドツーエンドの移動学習手法として,動的ビジュアルメタ埋め込み(DVME)を導入する。 DVMEにより得られた集合表現は,1つの事前学習モデルを用いた場合と比較して,選択したタスクの性能が大幅に向上し,任意の事前学習モデルに一般化可能であることを示す。

関連論文リスト

• Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance [7.945551345449388]
  現在の知見は、医用画像における対照的な事前トレーニングの可能性を示している。 医用画像の類似性は、医用画像領域における対照的な学習の成功を妨げていると仮定する。 医療用事前学習データセットの冗長性を同定・低減するために, 深層埋め込み, 情報理論, ハッシュに基づく様々な戦略を検討する。
  論文  参考訳（メタデータ） (2024-10-18T15:08:05Z)
• Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images [30.618749295623363]
  本研究の目的は,学術基礎モデルの最大化と,事前学習による自己指導型学習アルゴリズムのベンチマークである。 これまでで最大の病理データセットを収集し、423万枚以上の顕微鏡スライドから30億枚以上の画像を集めました。 以上の結果から, 自然画像の事前学習と比較して, 診断データに対する事前学習は下流での学習に有益であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-10T21:40:19Z)
• Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks [65.23740556896654]
  肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。 3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
  論文  参考訳（メタデータ） (2023-09-05T21:36:42Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Forward-Forward Contrastive Learning [4.465144120325802]
  医用画像分類のための新しい事前学習手法として,前向きコントラスト学習(FFCL)を提案する。 FFCLは、肺炎分類タスクにおける既存の事前訓練モデルよりも、ImageNet Pretrained ResNet-18よりも3.69%の精度で性能が向上している。
  論文  参考訳（メタデータ） (2023-05-04T15:29:06Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• Self-Supervised Learning from Unlabeled Fundus Photographs Improves Segmentation of the Retina [4.815051667870375]
  基礎撮影は網膜イメージングの第一の方法であり、糖尿病網膜症予防に必須である。 現在のセグメンテーション法は、実際の臨床応用に典型的な画像条件や病理の多様性に対して堅牢ではない。 コントラスト型自己教師型学習を用いて,EyePACSデータセットの多種多様な未ラベル画像を利用する。
  論文  参考訳（メタデータ） (2021-08-05T18:02:56Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Big Self-Supervised Models Advance Medical Image Classification [36.23989703428874]
  医療画像分類のための前訓練戦略としての自己監督学習の有効性を検討する。 本研究では,患者1例当たりの病理の複数の画像を用いたマルチインスタンスコントラスト学習(MICLe)法を提案する。 大規模な自己教師型モデルでは分布シフトに頑健であり,少数のラベル付き医療画像を用いて効率よく学習できることを示す。
  論文  参考訳（メタデータ） (2021-01-13T17:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。