論文の概要: Categorical Relation-Preserving Contrastive Knowledge Distillation for
Medical Image Classification
- arxiv url: http://arxiv.org/abs/2107.03225v1
- Date: Wed, 7 Jul 2021 13:56:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 14:01:46.734974
- Title: Categorical Relation-Preserving Contrastive Knowledge Distillation for
Medical Image Classification
- Title（参考訳）: 医用画像分類のためのカテゴリー関係保存コントラスト知識蒸留法
- Authors: Xiaohan Xing, Yuenan Hou, Hang Li, Yixuan Yuan, Hongsheng Li, Max
Q.-H. Meng
- Abstract要約: そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。
この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。
CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
- 参考スコア（独自算出の注目度）: 75.27973258196934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The amount of medical images for training deep classification models is
typically very scarce, making these deep models prone to overfit the training
data. Studies showed that knowledge distillation (KD), especially the
mean-teacher framework which is more robust to perturbations, can help mitigate
the over-fitting effect. However, directly transferring KD from computer vision
to medical image classification yields inferior performance as medical images
suffer from higher intra-class variance and class imbalance. To address these
issues, we propose a novel Categorical Relation-preserving Contrastive
Knowledge Distillation (CRCKD) algorithm, which takes the commonly used
mean-teacher model as the supervisor. Specifically, we propose a novel
Class-guided Contrastive Distillation (CCD) module to pull closer positive
image pairs from the same class in the teacher and student models, while
pushing apart negative image pairs from different classes. With this
regularization, the feature distribution of the student model shows higher
intra-class similarity and inter-class variance. Besides, we propose a
Categorical Relation Preserving (CRP) loss to distill the teacher's relational
knowledge in a robust and class-balanced manner. With the contribution of the
CCD and CRP, our CRCKD algorithm can distill the relational knowledge more
comprehensively. Extensive experiments on the HAM10000 and APTOS datasets
demonstrate the superiority of the proposed CRCKD method.
- Abstract（参考訳）: 深層分類モデルのトレーニングのための医療画像の量は、通常非常に少ないため、これらの深層分類モデルはトレーニングデータに過度に適合する傾向にある。
研究によると、知識蒸留(KD)、特に摂動に強い平均教師の枠組みは、過度に適合する効果を軽減することができる。
しかし,KDをコンピュータビジョンから医用画像分類へ直接転送すると,医用画像のクラス内ばらつきやクラス不均衡に悩まされるため,性能は低下する。
そこで本研究では, 一般の平均教師モデルを用いて, 新たな類型関係保存型コントラスト知識蒸留法 (crckd) を提案する。
具体的には,教師と生徒モデルの同一クラスからより近い正のイメージペアを抽出し,異なるクラスから負のイメージペアを分離する,新しいクラス誘導型コントラスト蒸留(ccd)モジュールを提案する。
この正規化により、学生モデルの特徴分布はクラス内類似度が高くクラス間分散を示す。
さらに,教師のリレーショナル知識を,頑健でクラスバランスの取れた方法で蒸留するためのカテゴリー関係保存(CRP)損失を提案する。
CCDとCRPの貢献により、我々のCRCKDアルゴリズムは関係知識をより包括的に蒸留することができる。
HAM10000とAPTOSデータセットに関する大規模な実験は、提案したCRCKD法の優位性を実証している。
関連論文リスト
- DCD: Discriminative and Consistent Representation Distillation [6.24302896438145]
本研究では,大きな教師モデルからより小さな学生モデルへ知識を伝達するための識別・一貫性蒸留(DCD)を提案する。
DCDは、教師と生徒の表現の分布の相違を最小限に抑えるために、一貫性の規則化とともに対照的な損失を生んでいる。
学生モデルが教師の精度を上回りながら,DCDが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-07-16T14:53:35Z) - Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。
本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。
そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-07T18:37:43Z) - SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。
本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。
実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
論文 参考訳（メタデータ） (2023-09-25T16:40:56Z) - Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳（メタデータ） (2023-04-18T15:39:58Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳（メタデータ） (2023-02-03T13:50:25Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-22T06:54:29Z) - Cross-Site Severity Assessment of COVID-19 from CT Images via Domain
Adaptation [64.59521853145368]
CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。
ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。
この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
論文 参考訳（メタデータ） (2021-09-08T07:56:51Z) - Similarity Transfer for Knowledge Distillation [25.042405967561212]
知識蒸留は、大きなモデルから小さなモデルに知識を移すことで、ポータブルニューラルネットワークを学ぶための一般的なパラダイムである。
本稿では,複数試料のカテゴリ間の類似性を十分に活用することを目的とした,知識蒸留のための類似性伝達法(stkd)を提案する。
その結果, stkdはバニラ知識蒸留法を実質的に上回り, 最先端知識蒸留法よりも精度が高かった。
論文 参考訳（メタデータ） (2021-03-18T06:54:59Z) - Cost-Sensitive Regularization for Diabetic Retinopathy Grading from Eye
Fundus Images [20.480034690570196]
本稿では,眼底画像から糖尿病網膜症(DR)の重症度を予測するための制約を強制するための簡単なアプローチを提案する。
正規化要因として機能する余分な用語で標準分類損失を拡大する。
DRグレーディングに関連する各サブプロブレムにおいて,ラベルノイズのモデル化に我々の手法を適用する方法について述べる。
論文 参考訳（メタデータ） (2020-10-01T10:42:06Z) - Synergic Adversarial Label Learning for Grading Retinal Diseases via
Knowledge Distillation and Multi-task Learning [29.46896757506273]
良質な医師のアノテート画像は非常に高価であり、様々な網膜疾患に対して限られた量のデータしか利用できない。
一部の研究では、AMDとDRは出血点や吐出などの一般的な特徴を共有しているが、ほとんどの分類アルゴリズムはこれらの疾患モデルを個別に訓練するだけである。
本稿では,関連網膜疾患ラベルを意味的および特徴空間の両方で付加的な信号として活用し,協調的にモデルを訓練するSALL法を提案する。
論文 参考訳（メタデータ） (2020-03-24T01:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。