論文の概要: Classification of Diabetic Retinopathy Using Unlabeled Data and Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2009.00982v1
• Date: Tue, 1 Sep 2020 07:18:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 01:54:53.234373
• Title: Classification of Diabetic Retinopathy Using Unlabeled Data and Knowledge Distillation
• Title（参考訳）: ラベルなしデータと知識蒸留を用いた糖尿病網膜症の分類
• Authors: Sajjad Abbasi, Mohsen Hajabdollahi, Pejman Khadivi, Nader Karimi, Roshanak Roshandel, Shahram Shirani, Shadrokh Samavi
• Abstract要約: 提案手法は,モデルの全知識をより小さなモデルに転送する。 ラベルのないデータは教師なしの方法で使われ、知識の最大量を新しいスリムモデルに転送する。 提案手法は,ラベル付きデータが典型的に少ない医療画像解析において有用である。
• 参考スコア（独自算出の注目度）: 10.032419030373399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation allows transferring knowledge from a pre-trained model to another. However, it suffers from limitations, and constraints related to the two models need to be architecturally similar. Knowledge distillation addresses some of the shortcomings associated with transfer learning by generalizing a complex model to a lighter model. However, some parts of the knowledge may not be distilled by knowledge distillation sufficiently. In this paper, a novel knowledge distillation approach using transfer learning is proposed. The proposed method transfers the entire knowledge of a model to a new smaller one. To accomplish this, unlabeled data are used in an unsupervised manner to transfer the maximum amount of knowledge to the new slimmer model. The proposed method can be beneficial in medical image analysis, where labeled data are typically scarce. The proposed approach is evaluated in the context of classification of images for diagnosing Diabetic Retinopathy on two publicly available datasets, including Messidor and EyePACS. Simulation results demonstrate that the approach is effective in transferring knowledge from a complex model to a lighter one. Furthermore, experimental results illustrate that the performance of different small models is improved significantly using unlabeled data and knowledge distillation.
• Abstract（参考訳）: 知識蒸留は、事前訓練されたモデルから別のモデルへの知識の伝達を可能にする。 しかし、それは制限に悩まされており、2つのモデルに関連する制約はアーキテクチャ的に類似する必要がある。 知識蒸留は、複雑なモデルをより軽いモデルに一般化することで、転送学習に関連するいくつかの欠点に対処する。 しかし、知識の一部は十分な知識蒸留によって蒸留されないことがある。 本稿では,転送学習を用いた新しい知識蒸留手法を提案する。 提案手法は,モデルの全知識をより小さなモデルに転送する。 これを達成するために、ラベルのないデータは教師なしの方法で使われ、知識の最大量を新しいスリムモデルに転送する。 提案手法は,ラベル付きデータが典型的に少ない医療画像解析において有用である。 提案手法は、MessidorとEyePACSを含む2つの公開データセット上で糖尿病網膜症を診断するための画像分類の文脈で評価される。 シミュレーションの結果、このアプローチは複雑なモデルからより軽いモデルに知識を移すのに有効であることが示された。 さらに,非ラベルデータと知識蒸留により,異なる小型モデルの性能が著しく向上することを示す実験結果が得られた。

関連論文リスト

• A metric learning approach for endoscopic kidney stone identification [0.879504058268139]
  本稿では,DML(Deep Metric Learning)手法を用いて,サンプル数が少ないクラスを扱えるようにし,また,分散サンプルが存在しないクラスを適切に一般化し,データベースに付加される新しいクラスに対処する。 提案したガイド付き深度学習アプローチは、データ表現を改良された方法で学習するように設計された、新しいアーキテクチャに基づいている。 教師モデル(GEMINI)は、ラベル付きデータから事前知識に基づいて仮説空間を縮小し、知識蒸留方式により学生モデル(ResNet50)のガイドとして使用される。
  論文  参考訳（メタデータ） (2023-07-13T20:02:07Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)
• Synergic Adversarial Label Learning for Grading Retinal Diseases via Knowledge Distillation and Multi-task Learning [29.46896757506273]
  良質な医師のアノテート画像は非常に高価であり、様々な網膜疾患に対して限られた量のデータしか利用できない。 一部の研究では、AMDとDRは出血点や吐出などの一般的な特徴を共有しているが、ほとんどの分類アルゴリズムはこれらの疾患モデルを個別に訓練するだけである。 本稿では,関連網膜疾患ラベルを意味的および特徴空間の両方で付加的な信号として活用し,協調的にモデルを訓練するSALL法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T01:32:04Z)
• Unlabeled Data Deployment for Classification of Diabetic Retinopathy Images Using Knowledge Transfer [11.031841470875571]
  転送学習はラベル付きデータの欠如の問題を解決するために用いられる。 知識蒸留は、あるモデルの知識を別のものに移すために最近提案されている。 本稿では,移動学習を用いた新しい知識蒸留法を提案し,モデルの全知識を別の知識に伝達する。
  論文  参考訳（メタデータ） (2020-02-09T09:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。