論文の概要: KDAS3: Knowledge distillation via Attention Supervision, and Symmetrical structure guiding for Polyp Segmentation

• arxiv url: http://arxiv.org/abs/2312.08555v1
• Date: Wed, 13 Dec 2023 23:00:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 00:32:08.702969
• Title: KDAS3: Knowledge distillation via Attention Supervision, and Symmetrical structure guiding for Polyp Segmentation
• Title（参考訳）: KDAS3:Attention Supervisionによる知識蒸留とポリプセグメンテーションを導く対称性構造
• Authors: Quoc-Huy Trinh
• Abstract要約: 本稿では,注意監督と対称誘導手法を取り入れた知識蒸留フレームワークを提案する。 このフレームワークは、教師モデルからよりコンパクトな学生モデルへの知識伝達を容易にするように設計されている。 約500万のパラメータを持つ本手法は,最先端の手法に匹敵する競合的な結果が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Polyp segmentation, a contentious issue in medical imaging, has seen numerous proposed methods aimed at improving the quality of segmented masks. Currently, state-of-the-art techniques yield impressive results. However, the sheer size of these models poses challenges for practical industry applications. To address this, we present a Knowledge Distillation framework, incorporating attention supervision and the symmetrical guiding method. This framework is designed to facilitate knowledge transfer from a teacher model to a more compact student model with fewer parameters. Our experimental evaluation of the framework assesses its effectiveness in enabling the student model to acquire knowledge from the teacher efficiently. Additionally, our method serves to prevent the student model from incorporating redundant features that could lead to inaccurate predictions. Consequently, our method, boasting approximately 5 million parameters, achieves competitive results comparable to the state-of-the-art approaches. The implementation can be found at: https://github.com/huyquoctrinh/KDAS3
• Abstract（参考訳）: 医療画像における論争的な問題であるポリプセグメンテーションでは、セグメンテーションマスクの品質向上を目的とした多くの手法が提案されている。 現在、最先端の技術は印象的な結果をもたらす。 しかし、これらのモデルの大きさは、実践的な産業アプリケーションに課題をもたらす。 そこで本研究では,注意監督と対称誘導手法を取り入れた知識蒸留フレームワークを提案する。 このフレームワークは、教師モデルからより少ないパラメータでよりコンパクトな学生モデルへの知識伝達を容易にするように設計されている。 本フレームワークの実験的な評価は,学生モデルが教師の知識を効率的に獲得できることの有効性を評価するものである。 さらに,本手法は,不正確な予測につながる可能性のある冗長な特徴を学生モデルに組み込むことを防ぐのに役立つ。 その結果,約500万パラメータを誇示する手法は,最先端手法に匹敵する競合結果が得られる。 実装は以下の通りである。 https://github.com/huyquoctrinh/KDAS3

関連論文リスト

• MLLA-UNet: Mamba-like Linear Attention in an Efficient U-Shape Model for Medical Image Segmentation [6.578088710294546]
  従来のセグメンテーション手法は、高い解剖学的変動、ぼやけた組織の境界、低い臓器コントラスト、ノイズといった課題に対処するのに苦労する。 MLLA-UNet(Mamba-like Linear Attention UNet)を提案する。 MLLA-UNetは、FLARE22、AMOS CT、ACDCに限らず、24の異なるセグメンテーションタスクを持つ6つの挑戦的なデータセットに対して、平均88.32%の最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-10-31T08:54:23Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• SAM-EG: Segment Anything Model with Egde Guidance framework for efficient Polyp Segmentation [6.709243857842895]
  本稿では,ポリプセグメンテーションのための小さなセグメンテーションモデルを用いて,コスト問題に対処するフレームワークを提案する。 本研究では,エッジ情報を画像特徴に組み込むEdge Guidingモジュールを提案する。 我々の小型モデルは、最先端の手法で競争結果を得ることで、その効果を実証する。
  論文  参考訳（メタデータ） (2024-06-21T01:42:20Z)
• ECC-PolypDet: Enhanced CenterNet with Contrastive Learning for Automatic Polyp Detection [88.4359020192429]
  既存の手法では、計算コストのかかるコンテキストアグリゲーションが伴うか、ポリープの事前モデリングが欠如しているため、難解なケースでは性能が低下する。 本稿では,2段階のトレーニングとエンドツーエンド推論フレームワークである Enhanced CenterNet with Contrastive Learning (ECC-PolypDet) を提案する。 Box-assisted Contrastive Learning (BCL) は, クラス内差を最小限に抑え, 前庭ポリープと背景のクラス間差を最大化するため, 隠れポリープを捕捉する。 微調整段階におけるIoU誘導サンプル再重み付けの導入
  論文  参考訳（メタデータ） (2024-01-10T07:03:41Z)
• Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
  マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する 規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。 そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:24:00Z)
• Enhancing Representation in Radiography-Reports Foundation Model: A Granular Alignment Algorithm Using Masked Contrastive Learning [26.425784890859738]
  MaCoは、マスク付きコントラスト型胸部X線基礎モデルである。 様々な医療画像のタスクに対して、きめ細かい画像理解とゼロショット学習を同時に達成する。 分類、セグメンテーション、検出、句接地といったタスクにまたがる、最先端の10のアプローチよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2023-09-12T01:29:37Z)
• Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
  圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。 本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-16T17:15:08Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Demystifying Deep Learning Models for Retinal OCT Disease Classification using Explainable AI [0.6117371161379209]
  様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。 これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。 本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-06T13:54:07Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。