論文の概要: SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images

• arxiv url: http://arxiv.org/abs/2203.11490v1
• Date: Tue, 22 Mar 2022 06:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 13:54:58.942425
• Title: SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images
• Title（参考訳）: SSD-KD:皮膚画像を用いた軽量皮膚病変分類のための自己教師付き逆知識蒸留法
• Authors: Yongwei Wang, Yuheng Wang, Tim K. Lee, Chunyan Miao, Z. Jane Wang
• Abstract要約: 皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 62.60956024215873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skin cancer is one of the most common types of malignancy, affecting a large population and causing a heavy economic burden worldwide. Over the last few years, computer-aided diagnosis has been rapidly developed and make great progress in healthcare and medical practices due to the advances in artificial intelligence. However, most studies in skin cancer detection keep pursuing high prediction accuracies without considering the limitation of computing resources on portable devices. In this case, knowledge distillation (KD) has been proven as an efficient tool to help improve the adaptability of lightweight models under limited resources, meanwhile keeping a high-level representation capability. To bridge the gap, this study specifically proposes a novel method, termed SSD-KD, that unifies diverse knowledge into a generic KD framework for skin diseases classification. Our method models an intra-instance relational feature representation and integrates it with existing KD research. A dual relational knowledge distillation architecture is self-supervisedly trained while the weighted softened outputs are also exploited to enable the student model to capture richer knowledge from the teacher model. To demonstrate the effectiveness of our method, we conduct experiments on ISIC 2019, a large-scale open-accessed benchmark of skin diseases dermoscopic images. Experiments show that our distilled lightweight model can achieve an accuracy as high as 85% for the classification tasks of 8 different skin diseases with minimal parameters and computing requirements. Ablation studies confirm the effectiveness of our intra- and inter-instance relational knowledge integration strategy. Compared with state-of-the-art knowledge distillation techniques, the proposed method demonstrates improved performances for multi-diseases classification on the large-scale dermoscopy database.
• Abstract（参考訳）: 皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 ここ数年、人工知能の進歩により、コンピュータ支援診断が急速に発展し、医療や医療において大きな進歩を遂げてきた。 しかし, 皮膚がん検出におけるほとんどの研究は, 携帯機器の計算資源の制限を考慮せずに, 高い予測精度を追求している。 この場合、知識蒸留(KD)は限られた資源下での軽量モデルの適応性を向上し、高いレベルの表現能力を保ちながら、効率的なツールとして証明されている。 このギャップを埋めるために、本研究では、多様な知識を皮膚疾患分類のための一般的なKDフレームワークに統合する、SSD-KDと呼ばれる新しい手法を提案する。 提案手法は,既存のKD研究と統合したインスタンス内関係特徴表現をモデル化する。 双対関係知識蒸留アーキテクチャは自己指導型であり、加重軟化出力も活用され、学生モデルが教師モデルからより豊かな知識を捉えることができる。 本手法の有効性を実証するため,ISIC 2019において皮膚疾患皮膚画像の大規模オープンアクセスベンチマーク実験を行った。 実験の結果, 蒸留軽量モデルは8種類の皮膚疾患の分類タスクにおいて, 最小パラメータと計算要件で最大85%の精度が得られることがわかった。 アブレーション研究は,インスタンス内およびインタースタンス間リレーショナル知識統合戦略の有効性を確認した。 提案手法は,最新の知識蒸留技術と比較し,大規模皮膚内視鏡データベースを用いたマルチディセーゼ分類の性能向上を実証する。

関連論文リスト

• D-Cube: Exploiting Hyper-Features of Diffusion Model for Robust Medical Classification [9.237437350215897]
  本稿では拡散型診断(D-Cube)について紹介する。これは拡散モデルから高機能と対照的な学習を併用して癌診断を改善する新しいアプローチである。 D-Cubeは拡散モデルの堅牢な表現能力を利用する高度な特徴選択技術を採用している。 D-CubeはCT,MRI,X線など,複数の医用画像モダリティに対して有効であることが実験的に検証された。
  論文  参考訳（メタデータ） (2024-11-17T14:30:50Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Learning Through Guidance: Knowledge Distillation for Endoscopic Image Classification [40.366659911178964]
  内視鏡は消化管(GI)の根底にある異常を同定する上で重要な役割を担っている。 ディープラーニング、特にCNN(Convolution Neural Networks)は、従来の機能エンジニアリングを使わずに自動機能学習を実行するように設計されている。 KDに基づく3つの学習フレームワーク、応答ベース、特徴ベース、関係ベースメカニズムについて検討し、関係ベース学習を支援するために、新しい多面的注意型特徴融合機構を導入する。
  論文  参考訳（メタデータ） (2023-08-17T02:02:11Z)
• An Evaluation of Lightweight Deep Learning Techniques in Medical Imaging for High Precision COVID-19 Diagnostics [0.0]
  決定支援システムは、画像の物理的検査に固有の課題を緩和する。 ほとんどのディープラーニングアルゴリズムは、リソース制約のあるデバイスの実装には適していない。 本稿では,MobileNetV2モデルを用いた新型コロナウイルス検出のための軽量深層学習手法の開発と評価について述べる。
  論文  参考訳（メタデータ） (2023-05-30T13:14:03Z)
• Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
  圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。 本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-16T17:15:08Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification [75.27973258196934]
  そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。 この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。 CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
  論文  参考訳（メタデータ） (2021-07-07T13:56:38Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning [29.46896757506273]
  良質な医師のアノテート画像は非常に高価であり、様々な網膜疾患に対して限られた量のデータしか利用できない。 一部の研究では、AMDとDRは出血点や吐出などの一般的な特徴を共有しているが、ほとんどの分類アルゴリズムはこれらの疾患モデルを個別に訓練するだけである。 本稿では,関連網膜疾患ラベルを意味的および特徴空間の両方で付加的な信号として活用し,協調的にモデルを訓練するSALL法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T01:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。