論文の概要: KDAS3: Knowledge distillation via Attention Supervision, and Symmetrical
structure guiding for Polyp Segmentation
- arxiv url: http://arxiv.org/abs/2312.08555v1
- Date: Wed, 13 Dec 2023 23:00:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 00:32:08.702969
- Title: KDAS3: Knowledge distillation via Attention Supervision, and Symmetrical
structure guiding for Polyp Segmentation
- Title(参考訳): KDAS3:Attention Supervisionによる知識蒸留とポリプセグメンテーションを導く対称性構造
- Authors: Quoc-Huy Trinh
- Abstract要約: 本稿では,注意監督と対称誘導手法を取り入れた知識蒸留フレームワークを提案する。
このフレームワークは、教師モデルからよりコンパクトな学生モデルへの知識伝達を容易にするように設計されている。
約500万のパラメータを持つ本手法は,最先端の手法に匹敵する競合的な結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Polyp segmentation, a contentious issue in medical imaging, has seen numerous
proposed methods aimed at improving the quality of segmented masks. Currently,
state-of-the-art techniques yield impressive results. However, the sheer size
of these models poses challenges for practical industry applications. To
address this, we present a Knowledge Distillation framework, incorporating
attention supervision and the symmetrical guiding method. This framework is
designed to facilitate knowledge transfer from a teacher model to a more
compact student model with fewer parameters. Our experimental evaluation of the
framework assesses its effectiveness in enabling the student model to acquire
knowledge from the teacher efficiently. Additionally, our method serves to
prevent the student model from incorporating redundant features that could lead
to inaccurate predictions. Consequently, our method, boasting approximately 5
million parameters, achieves competitive results comparable to the
state-of-the-art approaches. The implementation can be found at:
https://github.com/huyquoctrinh/KDAS3
- Abstract(参考訳): 医療画像における論争的な問題であるポリプセグメンテーションでは、セグメンテーションマスクの品質向上を目的とした多くの手法が提案されている。
現在、最先端の技術は印象的な結果をもたらす。
しかし、これらのモデルの大きさは、実践的な産業アプリケーションに課題をもたらす。
そこで本研究では,注意監督と対称誘導手法を取り入れた知識蒸留フレームワークを提案する。
このフレームワークは、教師モデルからより少ないパラメータでよりコンパクトな学生モデルへの知識伝達を容易にするように設計されている。
本フレームワークの実験的な評価は,学生モデルが教師の知識を効率的に獲得できることの有効性を評価するものである。
さらに,本手法は,不正確な予測につながる可能性のある冗長な特徴を学生モデルに組み込むことを防ぐのに役立つ。
その結果,約500万パラメータを誇示する手法は,最先端手法に匹敵する競合結果が得られる。
実装は以下の通りである。 https://github.com/huyquoctrinh/KDAS3
関連論文リスト
- Cross-model Mutual Learning for Exemplar-based Medical Image Segmentation [25.874281336821685]
Exemplar-based Medical Image(CMEMS)のためのクロスモデル相互学習フレームワーク
外来医用画像のためのクロスモデル相互学習フレームワーク(CMEMS)について紹介する。
論文 参考訳(メタデータ) (2024-04-18T00:18:07Z) - Adaptive Affinity-Based Generalization For MRI Imaging Segmentation Across Resource-Limited Settings [1.5703963908242198]
本稿では,適応親和性に基づく蒸留とカーネルベースの蒸留をシームレスに組み合わせた,新しい関係に基づく知識フレームワークを提案する。
革新的アプローチを検証するために,我々は公開されている複数ソースのMRIデータについて実験を行った。
論文 参考訳(メタデータ) (2024-04-03T13:35:51Z) - ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic
Polyp Detection [88.4359020192429]
既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。
本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。
Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。
微調整段階におけるIoU誘導サンプル再重み付けの導入
論文 参考訳(メタデータ) (2024-01-10T07:03:41Z) - Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する
規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。
そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
論文 参考訳(メタデータ) (2023-10-06T19:24:00Z) - Enhancing Representation in Radiography-Reports Foundation Model: A
Granular Alignment Algorithm Using Masked Contrastive Learning [8.717599327516822]
MaCoは、マスク付きコントラスト学習を探求し、様々な医療画像タスクに対して、きめ細かいアライメントとゼロショット学習を実現する、新しいマルチモーダル医療基盤モデルである。
6つの有名なオープンソースX線データセット上でMaCoを評価し, 実験結果から, 分類, セグメンテーション, ゼロショット位相グラウンドニングにおいて, 最先端の7つのアプローチよりも優れた結果を得た。
論文 参考訳(メタデータ) (2023-09-12T01:29:37Z) - Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on
Limit-Trained Multi-Teacher Models [4.711401719735324]
圧縮法と加速技術として知識蒸留(KD)が提案されている。
KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。
本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
論文 参考訳(メタデータ) (2023-03-16T17:15:08Z) - SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for
Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。
皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。
本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-03-22T06:54:29Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳(メタデータ) (2021-12-17T11:56:56Z) - Demystifying Deep Learning Models for Retinal OCT Disease Classification
using Explainable AI [0.6117371161379209]
様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。
これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。
本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
論文 参考訳(メタデータ) (2021-11-06T13:54:07Z) - BoundarySqueeze: Image Segmentation as Boundary Squeezing [104.43159799559464]
本研究では,オブジェクトとシーンの微細な高画質画像分割のための新しい手法を提案する。
形態素画像処理技術による拡張と浸食に着想を得て,画素レベルのセグメンテーション問題をスクイーズ対象境界として扱う。
提案手法は,COCO,Cityscapesのインスタンス・セグメンテーション・セグメンテーション・セグメンテーションにおいて大きく向上し,同一条件下での精度・速度ともに従来のPointRendよりも優れていた。
論文 参考訳(メタデータ) (2021-05-25T04:58:51Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。