論文の概要: FPT: Fine-grained Prompt Tuning for Parameter and Memory Efficient Fine
Tuning in High-resolution Medical Image Classification
- arxiv url: http://arxiv.org/abs/2403.07576v1
- Date: Tue, 12 Mar 2024 12:05:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 21:45:42.324414
- Title: FPT: Fine-grained Prompt Tuning for Parameter and Memory Efficient Fine
Tuning in High-resolution Medical Image Classification
- Title(参考訳): FPT:高分解能医用画像分類におけるパラメータおよびメモリ効率の良い微細調整のための微細プロンプトチューニング
- Authors: Yijin Huang, Pujin Cheng, Roger Tam, Xiaoying Tang
- Abstract要約: きめ細かいPrompt Tuning(FPT)は、訓練済みのモデルを下流のタスクに転送するコスト効率の良い方法である。
FPTは、他のPEFT法と比較してメモリ消費を大幅に削減する。
FPTは, サイズ, モダリティ, 複雑さの異なる4つの医療データセットで評価した。
- 参考スコア(独自算出の注目度): 1.7250622545853571
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) is proposed as a cost-effective way to
transfer pre-trained models to downstream tasks, avoiding the high cost of
updating entire large-scale pre-trained models (LPMs). In this work, we present
Fine-grained Prompt Tuning (FPT), a novel PEFT method for medical image
classification. FPT significantly reduces memory consumption compared to other
PEFT methods, especially in high-resolution contexts. To achieve this, we first
freeze the weights of the LPM and construct a learnable lightweight side
network. The frozen LPM takes high-resolution images as input to extract
fine-grained features, while the side network is fed low-resolution images to
reduce memory usage. To allow the side network to access pre-trained knowledge,
we introduce fine-grained prompts that summarize information from the LPM
through a fusion module. Important tokens selection and preloading techniques
are employed to further reduce training cost and memory requirements. We
evaluate FPT on four medical datasets with varying sizes, modalities, and
complexities. Experimental results demonstrate that FPT achieves comparable
performance to fine-tuning the entire LPM while using only 1.8% of the
learnable parameters and 13% of the memory costs of an encoder ViT-B model with
a 512 x 512 input resolution.
- Abstract(参考訳): パラメータ効率の良い微調整(peft)は、事前学習されたモデルを下流タスクに転送するコスト効率の高い方法として提案されている。
本稿では,医用画像分類のための新しいpeft法であるきめ細粒度プロンプトチューニング(fpt)を提案する。
FPTは、特に高解像度のコンテキストにおいて、他のPEFT法と比較してメモリ消費を著しく削減する。
これを実現するために、まずLPMの重みを凍結し、学習可能な軽量サイドネットワークを構築する。
凍結したLPMは、高解像度画像を入力として精細な特徴を抽出し、一方、サイドネットワークは低解像度画像を供給してメモリ使用量を減らす。
サイドネットワークが事前学習した知識にアクセスできるようにするため、融合モジュールを介してLPMから情報を要約するきめ細かいプロンプトを導入する。
トレーニングコストとメモリ要件をさらに削減するために、重要なトークンの選択とプリロード技術が採用されている。
FPTは, サイズ, モダリティ, 複雑さの異なる4つの医療データセットで評価した。
実験の結果、FPTは学習可能なパラメータの1.8%と512 x 512の入力解像度を持つエンコーダViT-Bモデルのメモリコストの13%しか使用せず、LPM全体の微調整に匹敵する性能を示した。
関連論文リスト
- DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。
DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-09-11T00:02:05Z) - UniPT: Universal Parallel Tuning for Transfer Learning with Efficient
Parameter and Memory [69.33445217944029]
PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。
最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。
メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
論文 参考訳(メタデータ) (2023-08-28T05:38:43Z) - DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for
Medical Image Analysis [30.608225734194416]
医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。
トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。
最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
論文 参考訳(メタデータ) (2023-07-19T07:11:11Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Make Pre-trained Model Reversible: From Parameter to Memory Efficient
Fine-Tuning [6.451743797015637]
本稿では,事前学習した言語モデルに対するメモリ効率のよい微調整(MEFT)を提案する。
MEFTはアダプタをPLMに挿入し、PLMの開始点を保ち、追加の事前訓練なしで可逆的にすることができる。
MEFTは、トレーニング可能なパラメータの無視量でフル微調整の84%まで、アクティベーションメモリを大幅に削減する。
論文 参考訳(メタデータ) (2023-06-01T09:26:17Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳(メタデータ) (2023-03-15T12:34:24Z) - FPT: Improving Prompt Tuning Efficiency via Progressive Training [84.25195519945215]
本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。
我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
論文 参考訳(メタデータ) (2022-11-13T08:00:29Z) - Late Prompt Tuning: A Late Prompt Could Be Better Than Many Prompts [97.20933523766182]
プロンプトチューニングは、事前訓練モデル(PTM)を利用するためのパラメータ効率チューニング(PETuning)手法である
我々は、入力層やすべての層の代わりに遅延プロンプトをPTMの中間層に挿入するLatlas Prompt Tuning()を提案する。
フルデータおよび少数ショットの両方のシナリオで、フルモデルチューニングや他のPETuningメソッドと競合する性能を実現できることを示す。
論文 参考訳(メタデータ) (2022-10-20T14:23:52Z) - Visual Prompt Tuning [74.5309408185523]
本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。
VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
論文 参考訳(メタデータ) (2022-03-23T01:17:16Z) - Real-time multimodal image registration with partial intraoperative
point-set data [0.5625255382226245]
Free Point Transformer (FPT) は、非厳格な点集合登録のためのディープニューラルネットワークアーキテクチャである。
本稿では,前立腺磁気共鳴(MR)画像の非剛性登録と,スパルスサンプリング経直腸超音波(TRUS)画像へのFPTの適用を実証する。
論文 参考訳(メタデータ) (2021-09-10T10:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。