論文の概要: FoPro-KD: Fourier Prompted Effective Knowledge Distillation for
Long-Tailed Medical Image Recognition
- arxiv url: http://arxiv.org/abs/2305.17421v1
- Date: Sat, 27 May 2023 09:01:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 19:24:16.027792
- Title: FoPro-KD: Fourier Prompted Effective Knowledge Distillation for
Long-Tailed Medical Image Recognition
- Title（参考訳）: FoPro-KD : 長期医療画像認識のための効果的な知識蒸留法
- Authors: Marawan Elbatel, Robert Mart\'i, and Xiaomeng Li
- Abstract要約: FoPro-KDは、フリーズされた公開トレーニング済みモデルから学んだ周波数パターンのパワーを解放する新しいアプローチである。
FoPro-KDは、長い尾の医用画像分類ベンチマークで大幅に改善されている。
- 参考スコア（独自算出の注目度）: 8.475836221632372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning is a promising technique for medical image classification,
particularly for long-tailed datasets. However, the scarcity of data in medical
imaging domains often leads to overparameterization when fine-tuning large
publicly available pre-trained models. Moreover, these large models are
ineffective in deployment in clinical settings due to their computational
expenses. To address these challenges, we propose FoPro-KD, a novel approach
that unleashes the power of frequency patterns learned from frozen publicly
available pre-trained models to enhance their transferability and compression.
FoPro-KD comprises three modules: Fourier prompt generator (FPG), effective
knowledge distillation (EKD), and adversarial knowledge distillation (AKD). The
FPG module learns to generate targeted perturbations conditional on a target
dataset, exploring the representations of a frozen pre-trained model, trained
on natural images. The EKD module exploits these generalizable representations
through distillation to a smaller target model, while the AKD module further
enhances the distillation process. Through these modules, FoPro-KD achieves
significant improvements in performance on long-tailed medical image
classification benchmarks, demonstrating the potential of leveraging the
learned frequency patterns from pre-trained models to enhance transfer learning
and compression of large pre-trained models for feasible deployment.
- Abstract（参考訳）: 転送学習は医用画像分類、特に長い尾のデータセットに有望な技術である。
しかし、医用画像領域におけるデータの不足は、大規模な公開トレーニング済みモデルを微調整する場合、過度なパラメータ化につながることが多い。
さらに、これらの大規模モデルは、計算コストのため、臨床現場での展開に効果がない。
これらの課題に対処するために,我々はfopro-kdを提案する。この手法は,公開事前学習モデルから得られた周波数パターンのパワーを解き放ち,その伝達性と圧縮性を高める。
fopro-kdは、fourier prompt generator (fpg)、 effective knowledge distillation (ekd)、adversarial knowledge distillation (akd)の3つのモジュールからなる。
FPGモジュールは、ターゲットデータセット上でターゲット摂動条件を生成することを学び、自然画像に基づいてトレーニングされた凍結事前学習モデルの表現を探索する。
EKDモジュールは、これらの一般化可能な表現を蒸留によってより小さなターゲットモデルに利用し、AKDモジュールは蒸留プロセスをさらに強化する。
これらのモジュールを通じて、fopro-kdは、ロングテールの医用画像分類ベンチマークのパフォーマンスが大幅に向上し、事前訓練されたモデルから学習された周波数パターンを活用できる可能性を示し、大規模な事前訓練モデルの転送学習と圧縮を、実現可能なデプロイメントのために強化する。
関連論文リスト
- Frequency-Guided Masking for Enhanced Vision Self-Supervised Learning [49.275450836604726]
本稿では、事前学習の有効性を大幅に向上させる、新しい周波数ベースの自己監視学習(SSL)手法を提案する。
我々は、知識蒸留によって強化された2ブランチのフレームワークを使用し、モデルがフィルタされた画像と原画像の両方を入力として取り込むことを可能にする。
論文 参考訳（メタデータ） (2024-09-16T15:10:07Z) - Meta-Transfer Derm-Diagnosis: Exploring Few-Shot Learning and Transfer Learning for Skin Disease Classification in Long-Tail Distribution [1.8024397171920885]
本研究は, エピソードおよび従来の訓練手法の利点と欠点を詳細に検討する。
最小限のラベル付き例で、我々のモデルは以前トレーニングされたモデルと比較して、かなりの情報獲得と性能向上を示した。
実験は, 最大10例の2方向から5方向の分類から, 従来の移動学習手法における成功率の増大を示した。
論文 参考訳（メタデータ） (2024-04-25T17:56:45Z) - Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-02-16T16:47:21Z) - Plug-and-Play Feature Generation for Few-Shot Medical Image
Classification [23.969183389866686]
限られた訓練データを用いた医用画像分類におけるモデル一般化と実用性の向上に大きな可能性を秘めている。
MedMFGは,限られたサンプルから十分なクラス識別機能を生成するために設計された,フレキシブルで軽量なプラグアンドプレイ方式である。
論文 参考訳（メタデータ） (2023-10-14T02:36:14Z) - Certification of Deep Learning Models for Medical Image Segmentation [44.177565298565966]
ランダムな平滑化と拡散モデルに基づく医用画像のための認定セグメンテーションベースラインを初めて提示する。
この結果から,拡散確率モデルをデノナイズするパワーを活用することで,ランダムな平滑化の限界を克服できることが示唆された。
論文 参考訳（メタデータ） (2023-10-05T16:40:33Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z) - DiffMIC: Dual-Guidance Diffusion Network for Medical Image
Classification [32.67098520984195]
一般医用画像分類のための拡散モデル(DiffMIC)を提案する。
実験の結果,DiffMICは最先端の手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2023-03-19T09:15:45Z) - Preservation of High Frequency Content for Deep Learning-Based Medical
Image Classification [74.84221280249876]
大量の胸部ラジオグラフィーの効率的な分析は、医師や放射線技師を助けることができる。
本稿では,視覚情報の効率的な識別と符号化のための離散ウェーブレット変換(DWT)を提案する。
論文 参考訳（メタデータ） (2022-05-08T15:29:54Z) - Few-Shot Transfer Learning to improve Chest X-Ray pathology detection
using limited triplets [0.0]
ディープラーニングアプローチは、多くの診断タスクにおいて、ほぼ人間に近い、あるいは人間に近いパフォーマンスに達している。
本稿では,Few-Shot Learningによる事前学習モデルの予測を改善するための実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-04-16T15:44:56Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳（メタデータ） (2021-03-19T14:13:56Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。