論文の概要: Semi-Supervised Learning with Online Knowledge Distillation for Skin Lesion Classification
- arxiv url: http://arxiv.org/abs/2508.11511v1
- Date: Fri, 15 Aug 2025 14:40:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:24.050602
- Title: Semi-Supervised Learning with Online Knowledge Distillation for Skin Lesion Classification
- Title（参考訳）: オンライン知識蒸留による半監督学習による皮膚病変分類
- Authors: Siyamalan Manivannan,
- Abstract要約: 本研究では, アンサンブル学習とオンライン知識蒸留を統合した半教師付き深層学習手法を提案する。
我々の手法は、畳み込みニューラルネットワークモデルのアンサンブルをトレーニングすることを含み、オンライン知識蒸留を用いて、アンサンブルからメンバーへの洞察を伝達する。
実験結果から, 知識蒸留モデルでは, 独立に訓練されたモデルよりも優れた性能が得られた。
- 参考スコア（独自算出の注目度）: 0.174048653626208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning has emerged as a promising approach for skin lesion analysis. However, existing methods mostly rely on fully supervised learning, requiring extensive labeled data, which is challenging and costly to obtain. To alleviate this annotation burden, this study introduces a novel semi-supervised deep learning approach that integrates ensemble learning with online knowledge distillation for enhanced skin lesion classification. Our methodology involves training an ensemble of convolutional neural network models, using online knowledge distillation to transfer insights from the ensemble to its members. This process aims to enhance the performance of each model within the ensemble, thereby elevating the overall performance of the ensemble itself. Post-training, any individual model within the ensemble can be deployed at test time, as each member is trained to deliver comparable performance to the ensemble. This is particularly beneficial in resource-constrained environments. Experimental results demonstrate that the knowledge-distilled individual model performs better than independently trained models. Our approach demonstrates superior performance on both the \emph{International Skin Imaging Collaboration} 2018 and 2019 public benchmark datasets, surpassing current state-of-the-art results. By leveraging ensemble learning and online knowledge distillation, our method reduces the need for extensive labeled data while providing a more resource-efficient solution for skin lesion classification in real-world scenarios.
- Abstract（参考訳）: 深層学習は皮膚病変解析の有望なアプローチとして登場した。
しかし、既存の手法は主に完全に教師付き学習に依存しており、広範囲のラベル付きデータを必要とする。
このアノテーションの負担を軽減するため,本研究では,アンサンブル学習とオンライン知識蒸留を統合した半教師付き深層学習手法を導入し,皮膚病変の分類を改良した。
我々の手法は、畳み込みニューラルネットワークモデルのアンサンブルをトレーニングすることを含み、オンライン知識蒸留を用いて、アンサンブルからメンバーへの洞察を伝達する。
このプロセスは、アンサンブル内の各モデルの性能を高めることを目的としており、それによってアンサンブル自体の全体的なパフォーマンスを高める。
トレーニング後、アンサンブル内の個々のモデルは、各メンバがアンサンブルに匹敵するパフォーマンスを提供するようにトレーニングされているため、テスト時にデプロイすることができる。
これは資源に制約のある環境では特に有益である。
実験結果から, 知識蒸留モデルでは, 独立に訓練されたモデルよりも優れた性能が得られた。
我々のアプローチは、現在の最先端の結果を上回る、2018年と2019年の公開ベンチマークデータセットの両方において、優れたパフォーマンスを示している。
本手法は, アンサンブル学習とオンライン知識蒸留を利用して, 実世界のシナリオにおいて, より資源効率の高い皮膚病変分類ソリューションを提供しながら, 広範囲なラベル付きデータの必要性を低減する。
関連論文リスト
- Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - Enhancing Orthopox Image Classification Using Hybrid Machine Learning and Deep Learning Models [40.325359811289445]
本稿では、機械学習モデルと事前訓練されたディープラーニングモデルを組み合わせて、拡張データを必要とせずに、深い特徴表現を抽出する。
その結果, この特徴抽出法は, 最先端技術における他の手法と組み合わせることで, 優れた分類結果が得られることがわかった。
論文 参考訳（メタデータ） (2025-06-06T11:52:07Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - BERT WEAVER: Using WEight AVERaging to enable lifelong learning for
transformer-based models in biomedical semantic search engines [49.75878234192369]
We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。
WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
論文 参考訳（メタデータ） (2022-02-21T10:34:41Z) - Learning Deep Representation with Energy-Based Self-Expressiveness for
Subspace Clustering [24.311754971064303]
本稿では,エネルギーモデルに基づく新しい深部サブスペースクラスタリングフレームワークを提案する。
最近普及している自己教師型学習の強力な表現能力を考えると、自己教師型表現学習を利用して辞書を学習しようとする。
論文 参考訳（メタデータ） (2021-10-28T11:51:08Z) - Learning to Segment Human Body Parts with Synthetically Trained Deep
Convolutional Networks [58.0240970093372]
本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。
提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-02-02T12:26:50Z) - Playing to distraction: towards a robust training of CNN classifiers
through visual explanation techniques [1.2321022105220707]
本研究では,視覚的説明手法を学習プロセスに組み込んだ,斬新かつ堅牢なトレーニング手法を提案する。
特に、EgoFoodPlacesデータセットに挑戦し、より低いレベルの複雑さで最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-12-28T10:24:32Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。