論文の概要: Learning Through Guidance: Knowledge Distillation for Endoscopic Image Classification

• arxiv url: http://arxiv.org/abs/2308.08731v1
• Date: Thu, 17 Aug 2023 02:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 18:27:24.831422
• Title: Learning Through Guidance: Knowledge Distillation for Endoscopic Image Classification
• Title（参考訳）: 指導による学習:内視鏡画像分類のための知識蒸留
• Authors: Harshala Gammulle, Yubo Chen, Sridha Sridharan, Travis Klein and Clinton Fookes
• Abstract要約: 内視鏡は消化管(GI)の根底にある異常を同定する上で重要な役割を担っている。 ディープラーニング、特にCNN(Convolution Neural Networks)は、従来の機能エンジニアリングを使わずに自動機能学習を実行するように設計されている。 KDに基づく3つの学習フレームワーク、応答ベース、特徴ベース、関係ベースメカニズムについて検討し、関係ベース学習を支援するために、新しい多面的注意型特徴融合機構を導入する。
• 参考スコア（独自算出の注目度）: 40.366659911178964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Endoscopy plays a major role in identifying any underlying abnormalities within the gastrointestinal (GI) tract. There are multiple GI tract diseases that are life-threatening, such as precancerous lesions and other intestinal cancers. In the usual process, a diagnosis is made by a medical expert which can be prone to human errors and the accuracy of the test is also entirely dependent on the expert's level of experience. Deep learning, specifically Convolution Neural Networks (CNNs) which are designed to perform automatic feature learning without any prior feature engineering, has recently reported great benefits for GI endoscopy image analysis. Previous research has developed models that focus only on improving performance, as such, the majority of introduced models contain complex deep network architectures with a large number of parameters that require longer training times. However, there is a lack of focus on developing lightweight models which can run in low-resource environments, which are typically encountered in medical clinics. We investigate three KD-based learning frameworks, response-based, feature-based, and relation-based mechanisms, and introduce a novel multi-head attention-based feature fusion mechanism to support relation-based learning. Compared to the existing relation-based methods that follow simplistic aggregation techniques of multi-teacher response/feature-based knowledge, we adopt the multi-head attention technique to provide flexibility towards localising and transferring important details from each teacher to better guide the student. We perform extensive evaluations on two widely used public datasets, KVASIR-V2 and Hyper-KVASIR, and our experimental results signify the merits of our proposed relation-based framework in achieving an improved lightweight model (only 51.8k trainable parameters) that can run in a resource-limited environment.
• Abstract（参考訳）: 内視鏡は消化管(GI)の根底にある異常を同定する上で重要な役割を担っている。 生命を脅かす複数の消化管疾患があり、例えば、先天性病変やその他の腸がんがある。 通常のプロセスでは、診断は医療専門家によって行われ、それはヒューマンエラーを起こしやすく、テストの精度も専門家の経験レベルに完全に依存する。 ディープラーニング、特に畳み込みニューラルネットワーク(cnns)は、事前の機能エンジニアリングなしで自動特徴学習を実行するように設計されているが、最近、gi内視鏡画像解析に大きな利点を報告している。 これまでの研究では、パフォーマンスの向上だけに焦点を当てたモデルを開発しており、導入されたモデルの大部分は、長いトレーニング時間を必要とする多くのパラメータを持つ複雑なディープネットワークアーキテクチャを含んでいる。 しかし、典型的には診療所で見られる低リソース環境で動作する軽量モデルの開発には焦点が当てられていない。 本稿では,反応ベース,特徴ベース,関係ベースという3つのkd学習フレームワークを調査し,関係ベース学習を支援する新しい多頭注意型特徴融合機構を提案する。 マルチティーチャー応答/特徴ベース知識の簡便な集約手法に従う既存の関係ベース手法と比較し,マルチヘッドアテンション手法を採用し,各教師から重要な詳細情報を移行し,生徒の指導に役立てるための柔軟性を提供する。 KVASIR-V2とHyper-KVASIRという2つの広く使われている公開データセットに対して広範な評価を行い、リソース制限環境で動作可能な軽量モデル(トレーニング可能なパラメータは51.8k)を実現する上で、提案した関係ベースのフレームワークのメリットを実証した。

関連論文リスト

• Adversarial Vessel-Unveiling Semi-Supervised Segmentation for Retinopathy of Prematurity Diagnosis [9.683492465191241]
  広範囲な手動血管アノテーションを必要とせず,ROP研究を進めるための半教師付きセグメンテーションフレームワークを提案する。 ラベル付きデータにのみ依存する従来の手法とは異なり,本手法では不確実性重み付き容器公開モジュールとドメイン対向学習を統合している。 我々は、パブリックデータセットと社内ROPデータセットに対するアプローチを検証し、複数の評価指標で優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-14T02:40:34Z)
• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• When Medical Imaging Met Self-Attention: A Love Story That Didn't Quite Work Out [8.113092414596679]
  2つの異なる医療データセットに異なる自己注意変異を持つ、広く採用されている2つの畳み込みアーキテクチャを拡張します。 完全畳み込みモデルに比べてバランスの取れた精度は著しく改善されていない。 また, 皮膚病変画像における皮膚内視鏡像などの重要な特徴は, 自己注意を用いても学ばないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-18T16:18:41Z)
• Specialty detection in the context of telemedicine in a highly imbalanced multi-class distribution [3.992328888937568]
  この研究は、アラビア語の医学的問題に対するマルチクラスと高度に不均衡なデータセットを扱うことに焦点を当てている。 提案されたモジュールは、同期および非同期の医療コンサルテーションの両方にデプロイされる。
  論文  参考訳（メタデータ） (2024-02-21T06:39:04Z)
• An Evaluation of Lightweight Deep Learning Techniques in Medical Imaging for High Precision COVID-19 Diagnostics [0.0]
  決定支援システムは、画像の物理的検査に固有の課題を緩和する。 ほとんどのディープラーニングアルゴリズムは、リソース制約のあるデバイスの実装には適していない。 本稿では,MobileNetV2モデルを用いた新型コロナウイルス検出のための軽量深層学習手法の開発と評価について述べる。
  論文  参考訳（メタデータ） (2023-05-30T13:14:03Z)
• Federated Learning with Research Prototypes for Multi-Center MRI-based Detection of Prostate Cancer with Diverse Histopathology [3.8613414331251423]
  前立腺癌検出アルゴリズムのクロスサイトトレーニング,検証,評価のためのフレキシブル・フェデレート・ラーニング・フレームワークを提案する。 前立腺癌の検出と分類の精度は,神経回路モデルと多種多様な前立腺生検データを用いて向上した。 我々はFLtoolsシステムをオープンソースとして公開し、医療画像のための他のディープラーニングプロジェクトに容易に対応できるようにしています。
  論文  参考訳（メタデータ） (2022-06-11T21:28:17Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。