論文の概要: Med-Tuning: Exploring Parameter-Efficient Transfer Learning for Medical
Volumetric Segmentation
- arxiv url: http://arxiv.org/abs/2304.10880v1
- Date: Fri, 21 Apr 2023 10:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 15:02:02.069226
- Title: Med-Tuning: Exploring Parameter-Efficient Transfer Learning for Medical
Volumetric Segmentation
- Title(参考訳): Med-Tuning:医療用ボリュームセグメンテーションのためのパラメータ効率の良い伝達学習の探索
- Authors: Wenxuan Wang, Jiachen Shen, Chen Chen, Jianbo Jiao, Yan Zhang,
Shanshan Song, Jiangyun Li
- Abstract要約: 深層学習に基づく医学ボリュームセグメンテーション手法は、モデルをスクラッチからトレーニングするか、あるいは標準の"事前トレーニングから微調整"パラダイムに従う。
本研究は,医療用ボリュームセグメンテーションのためのパラメータ効率変換学習に関する最初の研究である。
本稿では,段階内特徴強調と段階間特徴相互作用に基づくMed-Tuningという新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 22.618040388844655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning based medical volumetric segmentation methods either train the
model from scratch or follow the standard "pre-training then finetuning"
paradigm. Although finetuning a well pre-trained model on downstream tasks can
harness its representation power, the standard full finetuning is costly in
terms of computation and memory footprint. In this paper, we present the first
study on parameter-efficient transfer learning for medical volumetric
segmentation and propose a novel framework named Med-Tuning based on
intra-stage feature enhancement and inter-stage feature interaction. Given a
large-scale pre-trained model on 2D natural images, our method can exploit both
the multi-scale spatial feature representations and temporal correlations along
image slices, which are crucial for accurate medical volumetric segmentation.
Extensive experiments on three benchmark datasets (including CT and MRI) show
that our method can achieve better results than previous state-of-the-art
parameter-efficient transfer learning methods and full finetuning for the
segmentation task, with much less tuned parameter costs. Compared to full
finetuning, our method reduces the finetuned model parameters by up to 4x, with
even better segmentation performance.
- Abstract(参考訳): 深層学習に基づく医学ボリュームセグメンテーション手法は、モデルをスクラッチからトレーニングするか、あるいは標準の"事前トレーニングから微調整"パラダイムに従う。
下流タスクで十分に訓練されたモデルを微調整することは表現力を利用することができるが、標準的な完全微調整は計算とメモリフットプリントの点でコストがかかる。
本稿では,医療用ボリュームセグメンテーションのためのパラメータ効率変換学習に関する最初の研究を行い,段階内特徴強調と段階間特徴相互作用に基づくMed-Tuningという新しいフレームワークを提案する。
本手法は,2次元の自然画像に対する大規模事前学習モデルにより,画像スライスに沿った空間的特徴表現と時間的相関を両立させることができる。
3つのベンチマークデータセット(CTやMRIを含む)の広範囲な実験により、従来のパラメータ効率変換学習法よりも優れた結果が得られ、パラメータの調整コストが大幅に低減された。
本手法は, 完全微調整と比較して, モデルパラメータを最大4倍に減らし, セグメンテーション性能を向上する。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - GIFT: Generative Interpretable Fine-Tuning Transformers [9.532589580200437]
本稿では, GIFT (Generative Interpretable Fine-tuning Transformer) を用いて, 微調整事前学習型トランスモデルを提案する。
我々のGIFTは深層パラメータ残差学習法であり、事前学習されたトランスフォーマーモデルを微調整する際の2つの問題に対処する。
実験では,提案したGIFTをVTABベンチマークときめ細かい視覚分類ベンチマークで検証した。
論文 参考訳(メタデータ) (2023-12-01T16:33:57Z) - DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for
Medical Image Analysis [30.608225734194416]
医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。
トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。
最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
論文 参考訳(メタデータ) (2023-07-19T07:11:11Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Prompt-Based Tuning of Transformer Models for Multi-Center Medical Image
Segmentation of Head and Neck Cancer [0.0]
本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。
我々の戦略は、新センターデータの再トレーニングを最小限に抑え、計算コストと時間コストを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-30T11:26:52Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - Transformer Lesion Tracker [12.066026343488453]
我々はTransformer Lesion Tracker(TLT)と呼ばれるトランスフォーマーベースのアプローチを提案する。
我々はCAT(Cross Attention-based Transformer)を設計し、グローバル情報とローカル情報の両方を取り込み、特徴抽出を強化する。
我々は,提案手法の優位性を示すために,公開データセット上で実験を行い,モデルの性能が平均ユークリッド中心誤差を少なくとも14.3%改善したことを確認した。
論文 参考訳(メタデータ) (2022-06-13T15:35:24Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Automatic Data Augmentation via Deep Reinforcement Learning for
Effective Kidney Tumor Segmentation [57.78765460295249]
医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。
本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。
提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
論文 参考訳(メタデータ) (2020-02-22T14:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。