論文の概要: Contrastive learning-based pretraining improves representation and
transferability of diabetic retinopathy classification models
- arxiv url: http://arxiv.org/abs/2208.11563v1
- Date: Wed, 24 Aug 2022 14:07:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:35:05.966210
- Title: Contrastive learning-based pretraining improves representation and
transferability of diabetic retinopathy classification models
- Title（参考訳）: コントラスト学習に基づくプレトレーニングは糖尿病網膜症分類モデルの表現と伝達性を改善する
- Authors: Minhaj Nur Alam, Rikiya Yamashita, Vignav Ramesh, Tejas Prabhune,
Jennifer I. Lim, R.V.P. Chan, Joelle Hallak, Theodore Leng, and Daniel Rubin
- Abstract要約: 自己教師付きコントラスト学習に基づく事前学習により、小さなラベル付きデータセットを持つ堅牢で一般化されたディープラーニングモデルの開発が可能になる。
本研究の目的は,CLによるプレトレーニングが糖尿病網膜症 (DR) の診断成績に及ぼす影響を評価することである。
- 参考スコア（独自算出の注目度）: 1.9882302955470608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self supervised contrastive learning based pretraining allows development of
robust and generalized deep learning models with small, labeled datasets,
reducing the burden of label generation. This paper aims to evaluate the effect
of CL based pretraining on the performance of referrable vs non referrable
diabetic retinopathy (DR) classification. We have developed a CL based
framework with neural style transfer (NST) augmentation to produce models with
better representations and initializations for the detection of DR in color
fundus images. We compare our CL pretrained model performance with two state of
the art baseline models pretrained with Imagenet weights. We further
investigate the model performance with reduced labeled training data (down to
10 percent) to test the robustness of the model when trained with small,
labeled datasets. The model is trained and validated on the EyePACS dataset and
tested independently on clinical data from the University of Illinois, Chicago
(UIC). Compared to baseline models, our CL pretrained FundusNet model had
higher AUC (CI) values (0.91 (0.898 to 0.930) vs 0.80 (0.783 to 0.820) and 0.83
(0.801 to 0.853) on UIC data). At 10 percent labeled training data, the
FundusNet AUC was 0.81 (0.78 to 0.84) vs 0.58 (0.56 to 0.64) and 0.63 (0.60 to
0.66) in baseline models, when tested on the UIC dataset. CL based pretraining
with NST significantly improves DL classification performance, helps the model
generalize well (transferable from EyePACS to UIC data), and allows training
with small, annotated datasets, therefore reducing ground truth annotation
burden of the clinicians.
- Abstract（参考訳）: 自己教師付きコントラスト学習に基づく事前学習は、ラベル付きデータセットによる堅牢で一般化されたディープラーニングモデルの開発を可能にし、ラベル生成の負担を軽減する。
本研究の目的は,CLによるプレトレーニングが糖尿病網膜症 (DR) の診断成績に及ぼす影響を評価することである。
我々は、カラーファンドス画像のDR検出に優れた表現と初期化を備えたモデルを生成するために、ニューラルネットワークトランスファー(NST)を付加したCLベースのフレームワークを開発した。
CLプレトレーニングモデルの性能と,Imagenet重みを事前トレーニングしたアートベースラインモデルの2つの状態を比較した。
さらに、ラベル付きトレーニングデータ(10%まで)を削減してモデル性能を調べ、ラベル付き小さなデータセットでトレーニングした場合のモデルの堅牢性をテストする。
このモデルはEyePACSデータセットでトレーニングおよび検証され、イリノイ大学シカゴ校(UIC)の臨床データで独立にテストされている。
基礎モデルと比較すると,clプリトレーニングされたファンダネットモデルは,uc (ci) 値が0.91 (0.898 - 0.930) に対して0.80 (0.783 - 0.820) と 0.83 (0.801 - 0.853) であった。
トレーニングデータを10%ラベル付けしたFundusNet AUCは0.81(0.78から0.84)、ベースラインモデルでは0.58(0.56から0.64)、ベースラインモデルでは0.63(0.60から0.66)であった。
NSTを用いたCLベースの事前トレーニングはDL分類性能を大幅に向上させ、モデルの一般化(EyePACSからUICデータへ変換可能)を支援し、小さな注釈付きデータセットによるトレーニングを可能にする。
関連論文リスト
- A Federated Learning Framework for Stenosis Detection [70.27581181445329]
本研究は,冠動脈造影画像(CA)の狭窄検出におけるFL(Federated Learning)の使用について検討した。
アンコナのOspedale Riuniti(イタリア)で取得した200人の患者1219枚の画像を含む2施設の異種データセットについて検討した。
データセット2には、文献で利用可能な90人の患者からの7492のシーケンシャルな画像が含まれている。
論文 参考訳（メタデータ） (2023-10-30T11:13:40Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Boosting Visual-Language Models by Exploiting Hard Samples [126.35125029639168]
HELIPは、既存のCLIPモデルの性能を高めるための費用対効果戦略である。
我々の方法では、既存のモデルのトレーニングパイプラインと懸命に統合できます。
包括的なベンチマークでは、HELIPはパフォーマンス向上のために既存のモデルを継続的に強化する。
論文 参考訳（メタデータ） (2023-05-09T07:00:17Z) - Clinical Deterioration Prediction in Brazilian Hospitals Based on
Artificial Neural Networks and Tree Decision Models [56.93322937189087]
超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる
XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
論文 参考訳（メタデータ） (2022-12-17T23:29:14Z) - Exploring the Value of Pre-trained Language Models for Clinical Named
Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。
文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文 参考訳（メタデータ） (2022-10-23T16:27:31Z) - Learning Clinical Concepts for Predicting Risk of Progression to Severe
COVID-19 [17.781861866125023]
大手医療機関のデータを用いて、重度の新型コロナウイルスの進行を予測する生存モデルを開発する。
i) 利用可能なすべての特徴から構築された制約のないモデル,(ii) リスク予測器を訓練する前に少数の臨床概念を学習するパイプラインである。
論文 参考訳（メタデータ） (2022-08-28T02:59:35Z) - Self-supervised contrastive learning of echocardiogram videos enables
label-efficient cardiac disease diagnosis [48.64462717254158]
心エコービデオを用いた自己教師型コントラスト学習手法であるエコーCLRを開発した。
左室肥大症 (LVH) と大動脈狭窄症 (AS) の分類成績は,EchoCLR の訓練により有意に改善した。
EchoCLRは、医療ビデオの表現を学習する能力に特有であり、SSLがラベル付きデータセットからラベル効率の高い疾患分類を可能にすることを実証している。
論文 参考訳（メタデータ） (2022-07-23T19:17:26Z) - Semi-supervised learning for generalizable intracranial hemorrhage
detection and segmentation [0.0]
本研究は頭蓋内出血の検出・分節化のための半教師付き学習モデルの開発と評価である。
最初の「教師」ディープラーニングモデルは、2010年から2017年にかけて米国のある機関から収集された457ピクセルの頭部CTスキャンに基づいて訓練された。
2つ目の"学生"モデルは、このピクセルラベル付きデータセットと擬似ラベル付きデータセットの組み合わせでトレーニングされた。
論文 参考訳（メタデータ） (2021-05-03T00:14:43Z) - Deep learning-based COVID-19 pneumonia classification using chest CT
images: model generalizability [54.86482395312936]
深層学習(DL)分類モデルは、異なる国の3DCTデータセット上で、COVID-19陽性患者を特定するために訓練された。
我々は、データセットと72%の列車、8%の検証、20%のテストデータを組み合わせたDLベースの9つの同一分類モデルを訓練した。
複数のデータセットでトレーニングされ、トレーニングに使用されるデータセットの1つからテストセットで評価されたモデルは、よりよいパフォーマンスを示した。
論文 参考訳（メタデータ） (2021-02-18T21:14:52Z) - Intra-Domain Task-Adaptive Transfer Learning to Determine Acute Ischemic
Stroke Onset Time [7.024121839235693]
急性期虚血性脳卒中(AIS)の治療は, 脳卒中発症以降の経過に大きく左右される。
原因不明のTSS患者に対する最近の臨床ガイドラインでは、MRIを用いて血栓溶解の適性を決定することが推奨されているが、放射線学的評価は読取者間の多様性が高い。
臨床的に検証された閾値に基づいて,MRI拡散系列を利用した深層学習モデルを用いてTSSを分類する。
論文 参考訳（メタデータ） (2020-11-05T18:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。