論文の概要: EFCM: Efficient Fine-tuning on Compressed Models for deployment of large models in medical image analysis

• arxiv url: http://arxiv.org/abs/2409.11817v1
• Date: Wed, 18 Sep 2024 09:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 18:34:01.695042
• Title: EFCM: Efficient Fine-tuning on Compressed Models for deployment of large models in medical image analysis
• Title（参考訳）: EFCM: 医用画像解析における大規模モデルの展開のための圧縮モデルの効率的な微調整
• Authors: Shaojie Li, Zhaoshuo Diao,
• Abstract要約: 本研究では,非監督的特徴蒸留と微調整の2段階からなる圧縮モデル(EFCM)フレームワークの効率的な微調整について述べる。 実験は、網膜用RETFound、胸部X線用MRM、病理組織学用BROWの3つの大きな医療モデルに関連する11の下流データセットで実施された。
• 参考スコア（独自算出の注目度）: 17.876140405367764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent development of deep learning large models in medicine shows remarkable performance in medical image analysis and diagnosis, but their large number of parameters causes memory and inference latency challenges. Knowledge distillation offers a solution, but the slide-level gradients cannot be backpropagated for student model updates due to high-resolution pathological images and slide-level labels. This study presents an Efficient Fine-tuning on Compressed Models (EFCM) framework with two stages: unsupervised feature distillation and fine-tuning. In the distillation stage, Feature Projection Distillation (FPD) is proposed with a TransScan module for adaptive receptive field adjustment to enhance the knowledge absorption capability of the student model. In the slide-level fine-tuning stage, three strategies (Reuse CLAM, Retrain CLAM, and End2end Train CLAM (ETC)) are compared. Experiments are conducted on 11 downstream datasets related to three large medical models: RETFound for retina, MRM for chest X-ray, and BROW for histopathology. The experimental results demonstrate that the EFCM framework significantly improves accuracy and efficiency in handling slide-level pathological image problems, effectively addressing the challenges of deploying large medical models. Specifically, it achieves a 4.33% increase in ACC and a 5.2% increase in AUC compared to the large model BROW on the TCGA-NSCLC and TCGA-BRCA datasets. The analysis of model inference efficiency highlights the high efficiency of the distillation fine-tuning method.
• Abstract（参考訳）: 近年の医学における深層学習大型モデルの開発は, 画像解析や診断において顕著な性能を示したが, 多数のパラメータが記憶と推論遅延の課題を引き起こしている。 知識蒸留は解法を提供するが、高解像度の病理画像とスライドレベルのラベルのために、学生モデルの更新のためにスライドレベルの勾配を逆転することはできない。 本研究では,非監督的特徴蒸留と微調整の2段階からなる圧縮モデル(EFCM)フレームワークの効率的な微調整について述べる。 蒸留段階では, 学生モデルの知識吸収能力を高めるために, 適応的受容場調整のためのTransScanモジュールを用いて, FPD (Feature Projection Distillation) を提案する。 スライドレベルの微調整では、3つの戦略(リユースCLAM、リユースCLAM、エンド2エンドトレインCLAM(ETC))を比較した。 実験は、網膜用RETFound、胸部X線用MRM、病理組織学用BROWの3つの大きな医療モデルに関連する11の下流データセットで実施された。 実験の結果,EFCMフレームワークはスライドレベルの画像問題に対処する際の精度と効率を著しく向上し,大規模医療モデルを展開する上での課題に効果的に対処できることが示唆された。 具体的には、TGA-NSCLCとTGA-BRCAデータセットの大規模モデルBROWと比較してACCが4.33%増加し、AUCが5.2%増加した。 モデル推論効率の解析は蒸留微調整法の高効率性を強調する。

関連論文リスト

• Memory-efficient High-resolution OCT Volume Synthesis with Cascaded Amortized Latent Diffusion Models [48.87160158792048]
  本稿では,高分解能CTボリュームをメモリ効率よく合成できるCA-LDM(Cascaded amortized Latent diffusion model)を提案する。 公開高解像度OCTデータセットを用いた実験により、我々の合成データは、既存の手法の能力を超越した、現実的な高解像度かつグローバルな特徴を持つことが示された。
  論文  参考訳（メタデータ） (2024-05-26T10:58:22Z)
• Transformer-Based Self-Supervised Learning for Histopathological Classification of Ischemic Stroke Clot Origin [0.0]
  虚血性脳卒中における血栓塞栓源の同定は治療と二次予防に不可欠である。 本研究は,虚血性脳梗塞の発生源を分類するためのエンボリのデジタル病理学における自己教師型深層学習アプローチについて述べる。
  論文  参考訳（メタデータ） (2024-05-01T23:40:12Z)
• Enhancing and Adapting in the Clinic: Source-free Unsupervised Domain Adaptation for Medical Image Enhancement [34.11633495477596]
  ソースレス非教師なし領域適応医療画像強調法(SAME)を提案する。 構造化学習データからロバストなソースモデルを学習するために,まず構造保存強化ネットワークを構築した。 強化タスクの知識蒸留を促進するために擬似ラベルピッカーを開発した。
  論文  参考訳（メタデータ） (2023-12-03T10:01:59Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• EMIT-Diff: Enhancing Medical Image Segmentation via Text-Guided Diffusion Model [4.057796755073023]
  EMIT-Diffと呼ばれる医用画像合成のための制御可能な拡散モデルを開発した。 近年の拡散確率モデルを利用して、現実的で多様な合成医用画像データを生成する。 提案手法では, 合成試料が医療上の制約に適合することを確実にする。
  論文  参考訳（メタデータ） (2023-10-19T16:18:02Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
  圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。 本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-16T17:15:08Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。