論文の概要: SkinDistilViT: Lightweight Vision Transformer for Skin Lesion Classification

• arxiv url: http://arxiv.org/abs/2308.08669v1
• Date: Wed, 16 Aug 2023 20:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 18:45:49.099263
• Title: SkinDistilViT: Lightweight Vision Transformer for Skin Lesion Classification
• Title（参考訳）: skindistilvit: 皮膚病変分類のための軽量視覚トランスフォーマー
• Authors: Vlad-Constantin Lungu-Stan, Dumitru-Clementin Cercel, Florin Pop
• Abstract要約: 我々は、専門家が注釈を付けたメラノーマの医療画像に視覚変換器を訓練する。 我々は,教師のバランスの取れた複数クラスの精度の98.33%を,コストのごく一部で保持するモデルを得る。
• 参考スコア（独自算出の注目度）: 2.565087754012606
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Skin cancer is a treatable disease if discovered early. We provide a production-specific solution to the skin cancer classification problem that matches human performance in melanoma identification by training a vision transformer on melanoma medical images annotated by experts. Since inference cost, both time and memory wise is important in practice, we employ knowledge distillation to obtain a model that retains 98.33% of the teacher's balanced multi-class accuracy, at a fraction of the cost. Memory-wise, our model is 49.60% smaller than the teacher. Time-wise, our solution is 69.25% faster on GPU and 97.96% faster on CPU. By adding classification heads at each level of the transformer and employing a cascading distillation process, we improve the balanced multi-class accuracy of the base model by 2.1%, while creating a range of models of various sizes but comparable performance. We provide the code at https://github.com/Longman-Stan/SkinDistilVit.
• Abstract（参考訳）: 皮膚がんは早期に発見された治療可能な疾患である。 専門家が注釈したメラノーマの医用画像にビジョントランスフォーマーを訓練することにより、メラノーマ識別におけるヒトのパフォーマンスと一致する皮膚がん分類問題に対する生産特異的ソリューションを提供する。 推論コストは,時間と記憶の両面で重要であるため,教師のバランスの取れたマルチクラスの精度の98.33%を,コストのごく一部で保持するモデルを得るために知識蒸留を用いる。 記憶面では、私たちのモデルは先生より49.60%小さい。 時間の面では、私たちのソリューションはGPUで69.25%、CPUで97.96%高速です。 変圧器の各レベルに分類ヘッドを付加し, キャスケーディング蒸留法を用いて, ベースモデルのバランスの取れたマルチクラス精度を2.1%向上させ, 各種サイズで同等性能のモデルを作成する。 コードはhttps://github.com/longman-stan/skindistilvitで提供します。

関連論文リスト

• Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• Skin Cancer Detection utilizing Deep Learning: Classification of Skin Lesion Images using a Vision Transformer [0.0]
  我々は、自己認識機構のアイデアに基づいて開発された視覚変換器(ViT)を用いる。 ViT-L32モデルは91.57%、メラノーマリコールは58.54%、ViT-L16は92.79%、メラノーマリコールは56.10%である。
  論文  参考訳（メタデータ） (2024-07-26T07:06:42Z)
• Leveraging Knowledge Distillation for Lightweight Skin Cancer Classification: Balancing Accuracy and Computational Efficiency [0.0]
  皮膚がんは公衆衛生にとって大きな関心事であり、報告されているがんの3分の1を占めている。 本稿では,軽量ながら高い性能の分類器を作成するための知識蒸留に基づく手法を提案する。 高精度でコンパクトなサイズを持つため、われわれのモデルは、特に資源制約のある環境では、正確な皮膚がん分類の候補となる可能性がある。
  論文  参考訳（メタデータ） (2024-06-24T18:13:09Z)
• A Comparative Analysis Towards Melanoma Classification Using Transfer Learning by Analyzing Dermoscopic Images [0.0]
  本稿では,皮膚病変の分類と診断を可能にするために,深層学習技術と確立された転写学習手法を組み合わせたシステムを提案する。 研究者たちは'Deep Learning'テクニックを使って、膨大な数の写真を訓練し、基本的には期待される結果を得る。 DenseNetは、96.64%のバリデーション精度、9.43%のバリデーション損失、99.63%のテストセット精度など、他のものよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-02T19:46:48Z)
• HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers [49.79405257763856]
  本稿では,タスク非依存蒸留に焦点をあてる。 これは、計算コストとメモリフットプリントを小さくして、様々なタスクで簡単に微調整できるコンパクトな事前訓練モデルを生成する。 本稿では, 反復刈り込みによる新規なタスク非依存蒸留法であるHomotopic Distillation (HomoDistil)を提案する。
  論文  参考訳（メタデータ） (2023-02-19T17:37:24Z)
• Knowledge Distillation approach towards Melanoma Detection [0.7250756081498245]
  メラノーマはすべての皮膚がんの中で最も危険であると考えられている。 メラノーマの早期発見と、患者のタイムリーな治療を可能にするシステムを構築する必要がある。 近年の手法は、画像認識や、メラノーマや非メラノーマなどの皮膚病変の画像にタグを付ける機械学習に基づくシステムに向けられている。
  論文  参考訳（メタデータ） (2022-10-14T20:18:07Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• EMT-NET: Efficient multitask network for computer-aided diagnosis of breast cancer [58.720142291102135]
  乳腺腫瘍の分類と分別を同時に行うための,効率的で軽量な学習アーキテクチャを提案する。 腫瘍分類ネットワークにセグメンテーションタスクを組み込むことにより,腫瘍領域に着目したバックボーンネットワークで表現を学習する。 腫瘍分類の精度、感度、特異性はそれぞれ88.6%、94.1%、85.3%である。
  論文  参考訳（メタデータ） (2022-01-13T05:24:40Z)
• Sparse Distillation: Speeding Up Text Classification by Using Bigger Models [49.8019791766848]
  最先端の変圧器モデルを軽量の学生モデルに拡張することは、推論時の計算コストを削減する効果的な方法である。 本稿では,学生モデルの設計空間における新しい領域を探索することにより,推論速度の限界をさらに推し進めることを目的とする。 実験の結果,RoBERTa-Large教師の授業成績の97%を6つのテキスト分類タスクのコレクションに保持していることがわかった。
  論文  参考訳（メタデータ） (2021-10-16T10:04:14Z)
• Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification [75.27973258196934]
  そこで本研究では,一般的な平均教師モデルであるCRCKD(Categorical Relation-Reserving Contrastive Knowledge Distillation)アルゴリズムを提案する。 この正規化により、学生モデルの特徴分布はクラス内類似度が高く、クラス間分散を示す。 CCDとCRPの貢献により、我々のCRCKDアルゴリズムはより包括的に関係知識を蒸留することができる。
  論文  参考訳（メタデータ） (2021-07-07T13:56:38Z)
• Method to Classify Skin Lesions using Dermoscopic images [0.0]
  皮膚がんは、がん患者の3分の1を構成する既存の世界でもっとも一般的ながんである。 そこで本研究では,CNN(Convolution Neural Networks)をトレーニングモデルとして,皮膚画像を用いた皮膚病変の自動分類モデルを開発した。 このモデルが達成できる最良の精度は0.886である。
  論文  参考訳（メタデータ） (2020-08-21T10:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。