論文の概要: FoPro-KD: Fourier Prompted Effective Knowledge Distillation for
Long-Tailed Medical Image Recognition
- arxiv url: http://arxiv.org/abs/2305.17421v2
- Date: Tue, 12 Dec 2023 18:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 20:17:46.857011
- Title: FoPro-KD: Fourier Prompted Effective Knowledge Distillation for
Long-Tailed Medical Image Recognition
- Title（参考訳）: FoPro-KD : 長期医療画像認識のための効果的な知識蒸留法
- Authors: Marawan Elbatel, Robert Mart\'i, and Xiaomeng Li
- Abstract要約: 本稿では,FoPro-KDを提案する。FoPro-KDは,凍結事前学習モデルから学習した周波数パターンのパワーを利用して,転送性と圧縮性を向上するフレームワークである。
一般に利用可能な事前学習モデルから表現を活用することで、特に稀なクラスのパフォーマンスを大幅に向上させることができることを実証する。
われわれのフレームワークは既存の方法より優れており、まれな疾患分類のためのよりアクセスしやすい医療モデルを可能にしている。
- 参考スコア（独自算出の注目度）: 5.64283273944314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representational transfer from publicly available models is a promising
technique for improving medical image classification, especially in long-tailed
datasets with rare diseases. However, existing methods often overlook the
frequency-dependent behavior of these models, thereby limiting their
effectiveness in transferring representations and generalizations to rare
diseases. In this paper, we propose FoPro-KD, a novel framework that leverages
the power of frequency patterns learned from frozen pre-trained models to
enhance their transferability and compression, presenting a few unique
insights: 1) We demonstrate that leveraging representations from publicly
available pre-trained models can substantially improve performance,
specifically for rare classes, even when utilizing representations from a
smaller pre-trained model. 2) We observe that pre-trained models exhibit
frequency preferences, which we explore using our proposed Fourier Prompt
Generator (FPG), allowing us to manipulate specific frequencies in the input
image, enhancing the discriminative representational transfer. 3) By amplifying
or diminishing these frequencies in the input image, we enable Effective
Knowledge Distillation (EKD). EKD facilitates the transfer of knowledge from
pre-trained models to smaller models. Through extensive experiments in
long-tailed gastrointestinal image recognition and skin lesion classification,
where rare diseases are prevalent, our FoPro-KD framework outperforms existing
methods, enabling more accessible medical models for rare disease
classification. Code is available at https://github.com/xmed-lab/FoPro-KD.
- Abstract（参考訳）: 医用画像分類,特にまれな疾患を伴う長期データセットにおいて,公開モデルからの表現伝達は,医用画像分類を改善する上で有望な手法である。
しかし、既存の手法はしばしばこれらのモデルの周波数依存性の挙動を見落とし、表現の転送や稀な疾患への一般化の有効性を制限する。
本稿では,凍った事前学習モデルから学習した周波数パターンのパワーを活用し,転送性と圧縮性を向上させる新しいフレームワークfopro-kdを提案する。
1) 公開されている事前学習モデルからの表現を活用すれば, たとえより小さい事前学習モデルからの表現を活用しても, 特にレアクラスにおいて, 性能が大幅に向上できることを実証する。
2) 事前学習したモデルが周波数優先性を示し, 提案したフーリエ・プロンプト・ジェネレータ (FPG) を用いて, 入力画像中の特定の周波数を操作できるようにし, 識別的表現伝達を向上させる。
3) 入力画像中のこれらの周波数を増幅または縮小することにより, 有効知識蒸留(EKD)を可能にする。
EKDは、事前訓練されたモデルからより小さなモデルへの知識の伝達を容易にする。
まれな疾患が流行する消化管画像認識と皮膚病変分類の広範な実験を通じて,fopro-kdフレームワークは既存の手法を上回り,まれな疾患分類のためのよりアクセスしやすい医療モデルを実現する。
コードはhttps://github.com/xmed-lab/FoPro-KDで入手できる。
関連論文リスト
- Frequency-Guided Masking for Enhanced Vision Self-Supervised Learning [49.275450836604726]
本稿では、事前学習の有効性を大幅に向上させる、新しい周波数ベースの自己監視学習(SSL)手法を提案する。
我々は、知識蒸留によって強化された2ブランチのフレームワークを使用し、モデルがフィルタされた画像と原画像の両方を入力として取り込むことを可能にする。
論文 参考訳（メタデータ） (2024-09-16T15:10:07Z) - Meta-Transfer Derm-Diagnosis: Exploring Few-Shot Learning and Transfer Learning for Skin Disease Classification in Long-Tail Distribution [1.8024397171920885]
本研究は, エピソードおよび従来の訓練手法の利点と欠点を詳細に検討する。
最小限のラベル付き例で、我々のモデルは以前トレーニングされたモデルと比較して、かなりの情報獲得と性能向上を示した。
実験は, 最大10例の2方向から5方向の分類から, 従来の移動学習手法における成功率の増大を示した。
論文 参考訳（メタデータ） (2024-04-25T17:56:45Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Plug-and-Play Feature Generation for Few-Shot Medical Image
Classification [23.969183389866686]
限られた訓練データを用いた医用画像分類におけるモデル一般化と実用性の向上に大きな可能性を秘めている。
MedMFGは,限られたサンプルから十分なクラス識別機能を生成するために設計された,フレキシブルで軽量なプラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2023-10-14T02:36:14Z) - Certification of Deep Learning Models for Medical Image Segmentation [44.177565298565966]
ランダムな平滑化と拡散モデルに基づく医用画像のための認定セグメンテーションベースラインを初めて提示する。
この結果から,拡散確率モデルをデノナイズするパワーを活用することで,ランダムな平滑化の限界を克服できることが示唆された。
論文 参考訳（メタデータ） (2023-10-05T16:40:33Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - DiffMIC: Dual-Guidance Diffusion Network for Medical Image
Classification [32.67098520984195]
一般医用画像分類のための拡散モデル(DiffMIC)を提案する。
実験の結果,DiffMICは最先端の手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2023-03-19T09:15:45Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳（メタデータ） (2022-05-08T15:29:54Z) - Few-Shot Transfer Learning to improve Chest X-Ray pathology detection
using limited triplets [0.0]
ディープラーニングアプローチは、多くの診断タスクにおいて、ほぼ人間に近い、あるいは人間に近いパフォーマンスに達している。
本稿では,Few-Shot Learningによる事前学習モデルの予測を改善するための実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-04-16T15:44:56Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳（メタデータ） (2021-03-19T14:13:56Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。