論文の概要: Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2401.12215v1
• Date: Mon, 22 Jan 2024 18:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 12:50:50.765143
• Title: Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models
• Title（参考訳）: パラメーター効率の良い微調整で医療ビジョンの基礎モデルが改善される
• Authors: Chenyu Lian, Hong-Yu Zhou, Yizhou Yu, Liansheng Wang
• Abstract要約: 医療視基盤モデルにおけるPEFTの有効性はまだ不明である。 NIH ChestX-ray14のラベル付きデータを用いたAUROCスコアの80.6%など,さまざまなデータ効率の学習タスクに対して,新たな最先端技術を構築した。 本研究は, PEFTを用いた医用画像の伝達学習において, コミュニティの注目を集めることが期待できる。
• 参考スコア（独自算出の注目度）: 71.18275399694689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.
• Abstract（参考訳）: 近年,コンピュータビジョンタスクの伝達学習に有効な手法として,事前学習済みの大規模言語モデルを利用するために開発されたパラメータ効率のよい微調整(PEFT)が登場している。 しかし, PEFTの医療ビジョン基礎モデルに対する効果はいまだ不明であり, 検討が続けられている。 概念実証として,胸部x線基礎モデルに対するpeftの適用に関する詳細な実験を行った。 具体的には、代表的PEFT法であるLoRAを探索し、3つの確立された胸部X線写真データセットの2つの自監督ラジオグラフィ基礎モデル上で、FFT(Full-parameter fine-tuning)と比較した。 その結果、LoRAは学習課題18件中13件でFFTを2.9%以上改善し、調整可能なパラメータは1%以下であった。 基礎モデルとLoRAを組み合わせることで、NIH ChestX-ray14の1%ラベル付きデータを使用して、AUROCスコアの80.6%など、さまざまなデータ効率の学習タスクに新たな最先端技術を導入しました。 本研究は, PEFTを用いた医療画像の伝達学習において, コミュニティの注目を集めることが期待できる。 コードとモデルはhttps://github.com/RL4M/MED-PEFTで公開されている。

関連論文リスト

• Brain Tumor Classification on MRI in Light of Molecular Markers [61.77272414423481]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• Navigating Data Scarcity using Foundation Models: A Benchmark of Few-Shot and Zero-Shot Learning Approaches in Medical Imaging [1.533133219129073]
  データ不足は、現代の機械学習技術を臨床タスクに適用するための大きな制限要因である。 我々は,19種類の医用画像データセットを用いた16の事前訓練基礎モデルを用いて,少数ショット学習とゼロショット学習のベンチマーク研究を行った。 以上の結果から,医療データのみに事前訓練されたBiomedCLIPは,非常に小さなトレーニングセットサイズにおいて,平均して最高の成績を示した。
  論文  参考訳（メタデータ） (2024-08-15T09:55:51Z)
• Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
  様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。 これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。 本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
  論文  参考訳（メタデータ） (2024-07-16T10:28:50Z)
• Robust and Explainable Framework to Address Data Scarcity in Diagnostic Imaging [6.744847405966574]
  Efficient Transfer and Self-supervised Learning based Ensemble Framework (ETSEF) と呼ばれる新しいアンサンブルフレームワークを導入する。 ETSEFは、訓練済みの複数のディープラーニングモデルの特徴を活用して、限られたデータサンプルから強力な表現を効率的に学習する。 内視鏡検査,乳がん,サルポックス,脳腫瘍,緑内障検出,緑内障検出の5つの独立した医療画像検査を行い,ETSEFの有効性と堅牢性について検討した。
  論文  参考訳（メタデータ） (2024-07-09T05:48:45Z)
• ExPLoRA: Parameter-Efficient Extended Pre-Training to Adapt Vision Transformers under Domain Shifts [52.1635661239108]
  本稿では,事前学習された視覚変換器(ViT)のドメインシフト下での伝達学習を改善するために,ExPLoRAを提案する。 我々の実験は、衛星画像の最先端の成果を実証し、完全な事前学習や微調整のViTよりも優れています。
  論文  参考訳（メタデータ） (2024-06-16T15:14:56Z)
• ReFT: Representation Finetuning for Language Models [74.51093640257892]
  我々はRepresentation Finetuning(ReFT)手法のファミリーを開発する。 ReFTはフリーズベースモデルで動作し、隠れた表現に対するタスク固有の介入を学ぶ。 我々は,8つの常識推論タスク,4つの算術推論タスク,命令チューニング,GLUEについてLoReFTを紹介する。
  論文  参考訳（メタデータ） (2024-04-04T17:00:37Z)
• BERTHop: An Effective Vision-and-Language Model for Chest X-ray Disease Diagnosis [42.917164607812886]
  ヴィジュアル・アンド・ランゲージ(V&L)モデルは、画像とテキストを入力として取り、それら間の関連を捉えることを学ぶ。 BERTHopは、PixelHop++とVisualBERTをベースとしたトランスフォーマーベースのモデルで、2つのモダリティ間の関連をよりよく捉える。
  論文  参考訳（メタデータ） (2021-08-10T21:51:25Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning [91.3755431537592]
  我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。 マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。 我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
  論文  参考訳（メタデータ） (2020-09-22T11:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。