論文の概要: Parameter-Efficient Fine-Tuning for Medical Image Analysis: The Missed Opportunity

• arxiv url: http://arxiv.org/abs/2305.08252v3
• Date: Wed, 24 May 2023 12:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 11:12:32.622936
• Title: Parameter-Efficient Fine-Tuning for Medical Image Analysis: The Missed Opportunity
• Title（参考訳）: 医用画像解析のためのパラメーター効率の微調整:逃避機会
• Authors: Raman Dutt, Linus Ericsson, Pedro Sanchez, Sotirios A. Tsaftaris, Timothy Hospedales
• Abstract要約: 我々は総合的な評価を行う。 多様な医用画像解析タスクのためのPEFT(Efficient Fine-Tuning)技術 特定のシナリオでは最大22%の性能向上を示し,医療用テキスト・画像生成におけるPEFTの有効性を示した。
• 参考スコア（独自算出の注目度）: 17.296879062020228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive evaluation of Parameter-Efficient Fine-Tuning (PEFT) techniques for diverse medical image analysis tasks. PEFT is increasingly exploited as a valuable approach for knowledge transfer from pre-trained models in natural language processing, vision, speech, and cross-modal tasks, such as vision-language and text-to-image generation. However, its application in medical image analysis remains relatively unexplored. As foundation models are increasingly exploited in the medical domain, it is crucial to investigate and comparatively assess various strategies for knowledge transfer that can bolster a range of downstream tasks. Our study, the first of its kind (to the best of our knowledge), evaluates 16 distinct PEFT methodologies proposed for convolutional and transformer-based networks, focusing on image classification and text-to-image generation tasks across six medical datasets ranging in size, modality, and complexity. Through a battery of more than 600 controlled experiments, we demonstrate performance gains of up to 22% under certain scenarios and demonstrate the efficacy of PEFT for medical text-to-image generation. Further, we reveal the instances where PEFT methods particularly dominate over conventional fine-tuning approaches by studying their relationship with downstream data volume.
• Abstract（参考訳）: 本稿では,多種多様な医用画像解析タスクにおけるパラメータ効率向上技術(PEFT)の総合評価について述べる。 PEFTは、自然言語処理、ビジョン、スピーチ、そして視覚言語やテキスト・ツー・イメージ生成のようなモーダルなタスクにおいて、事前訓練されたモデルから知識を伝達するための貴重なアプローチとして、ますます活用されている。 しかし、医用画像解析への応用はいまだに未解明である。 基礎モデルが医学領域でますます活用されるようになるにつれて、ダウンストリームタスクの範囲を補強する知識伝達の様々な戦略を調査し、比較評価することが重要となる。 コンボリューションとトランスフォーマーに基づくネットワークのために提案された16種類のPEFT手法を,サイズ,モダリティ,複雑性の6つの医学データセットを対象とした画像分類とテキスト・ツー・イメージ生成タスクに着目し,本研究で評価した。 600以上の制御された実験により,特定のシナリオ下では最大22%の性能向上を示し,医療用テキスト・画像生成におけるPEFTの有効性を示した。 さらに, 従来の微調整手法よりもPEFT法が特に優位である事例を明らかにし, 下流データ量との関係について検討する。

関連論文リスト

• Medical Imaging Complexity and its Effects on GAN Performance [1.776717121506676]
  医用医用画像合成は, 画像合成のための強力な手法として, GAN (Generative Adversarial Network) による医用画像合成が登場した。 サンプルデータセットサイズと生成された画像の忠実度との関係を計測するベンチマークを実験的に確立する。 サンプルサイズが変化する複数の医用画像データセットをトレーニングした,最先端の2つのGANであるStyleGAN 3とSPADE-GANを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-10-23T15:28:25Z)
• Disease Classification and Impact of Pretrained Deep Convolution Neural Networks on Diverse Medical Imaging Datasets across Imaging Modalities [0.0]
  本稿では,種々の医用画像データセット間での伝達学習を伴う,事前訓練された深部畳み込みニューラルネットワークの使用の複雑さについて検討する。 固定特徴抽出器として事前訓練されたモデルを使用することで,データセットに関係なく性能が低下することを示す。 また、より深く複雑なアーキテクチャが必ずしも最高のパフォーマンスをもたらすとは限らないことも判明した。
  論文  参考訳（メタデータ） (2024-08-30T04:51:19Z)
• Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
  様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。 これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。 本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
  論文  参考訳（メタデータ） (2024-07-16T10:28:50Z)
• Understanding differences in applying DETR to natural and medical images [16.200340490559338]
  トランスフォーマーベースの検出器は、自然画像を用いたコンピュータビジョンタスクで成功している。 医用画像データには、非常に大きな画像サイズ、興味の少ない領域の小さい領域、微妙な違いによってのみ区別できるオブジェクトクラスなど、固有の課題がある。 本研究は, 検診用マンモグラフィーデータセットに適用した場合に, これらのトランスフォーマーに基づく設計選択の適用性を評価するものである。
  論文  参考訳（メタデータ） (2024-05-27T22:06:42Z)
• EAFP-Med: An Efficient Adaptive Feature Processing Module Based on Prompts for Medical Image Detection [27.783012550610387]
  領域間適応型医用画像検出は、様々な医用画像技術における病変表現の違いにより困難である。 医用画像検出のためのプロンプトに基づく効率的な適応的特徴処理モジュールであるEAFP-Medを提案する。 EAFP-Medは、プロンプトに基づいて様々な医用画像から病変の特徴を効率的に抽出し、モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-11-27T05:10:15Z)
• On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
  深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。 本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T03:09:03Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• Development of an algorithm for medical image segmentation of bone tissue in interaction with metallic implants [58.720142291102135]
  本研究では,金属インプラントとの接触部における骨成長の計算アルゴリズムを開発した。 骨とインプラント組織はトレーニングデータセットに手動でセグメンテーションされた。 ネットワーク精度の面では、モデルは約98%に達した。
  論文  参考訳（メタデータ） (2022-04-22T08:17:20Z)
• Harmonizing Pathological and Normal Pixels for Pseudo-healthy Synthesis [68.5287824124996]
  そこで本研究では,新しいタイプの識別器であるセグメンタを提案し,病変の正確な特定と擬似健康画像の視覚的品質の向上を図っている。 医用画像強調に生成画像を適用し,低コントラスト問題に対処するために拡張結果を利用する。 BraTSのT2モダリティに関する総合的な実験により、提案手法は最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-29T08:41:17Z)
• Generative Adversarial U-Net for Domain-free Medical Image Augmentation [49.72048151146307]
  注釈付き医用画像の不足は、医用画像コンピューティングの分野における最大の課題の1つだ。 本稿では,生成逆U-Netという新しい生成手法を提案する。 当社の新しいモデルは、ドメインフリーで、さまざまな医療画像に汎用性があります。
  論文  参考訳（メタデータ） (2021-01-12T23:02:26Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。