論文の概要: Prompt-Based Tuning of Transformer Models for Multi-Center Medical Image
Segmentation of Head and Neck Cancer
- arxiv url: http://arxiv.org/abs/2305.18948v2
- Date: Wed, 2 Aug 2023 07:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-03 17:21:47.385799
- Title: Prompt-Based Tuning of Transformer Models for Multi-Center Medical Image
Segmentation of Head and Neck Cancer
- Title(参考訳): 頭頸部癌におけるマルチセンター画像分割のためのトランスフォーマーモデルのプロンプトによるチューニング
- Authors: Numan Saeed, Muhammad Ridzuan, Roba Al Majzoub, Mohammad Yaqub
- Abstract要約: 本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。
我々の戦略は、新センターデータの再トレーニングを最小限に抑え、計算コストと時間コストを大幅に削減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Medical image segmentation is a vital healthcare endeavor requiring precise
and efficient models for appropriate diagnosis and treatment. Vision
transformer (ViT)-based segmentation models have shown great performance in
accomplishing this task. However, to build a powerful backbone, the
self-attention block of ViT requires large-scale pre-training data. The present
method of modifying pre-trained models entails updating all or some of the
backbone parameters. This paper proposes a novel fine-tuning strategy for
adapting a pretrained transformer-based segmentation model on data from a new
medical center. This method introduces a small number of learnable parameters,
termed prompts, into the input space (less than 1\% of model parameters) while
keeping the rest of the model parameters frozen. Extensive studies employing
data from new unseen medical centers show that the prompt-based fine-tuning of
medical segmentation models provides excellent performance regarding the
new-center data with a negligible drop regarding the old centers. Additionally,
our strategy delivers great accuracy with minimum re-training on new-center
data, significantly decreasing the computational and time costs of fine-tuning
pre-trained models.
- Abstract(参考訳): 医療画像分割は、適切な診断と治療のために正確かつ効率的なモデルを必要とする重要な医療活動である。
ビジョントランス(ViT)ベースのセグメンテーションモデルは、このタスクを達成する上で優れた性能を示している。
しかし、強力なバックボーンを構築するには、ViTの自己注意ブロックは大規模な事前学習データを必要とする。
事前訓練されたモデルの修正には、バックボーンパラメータの全てまたは一部を更新する必要がある。
本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。
この方法では、学習可能な少数のパラメータ(プロンプトと呼ばれる)を入力空間に導入し(モデルのパラメータの1\%未満)、残りのパラメータは凍結する。
新しい医療センターのデータを用いた広範囲にわたる研究は、医療セグメントモデルの迅速な微調整が、旧センターに関する無視できない低下を伴う新センターデータに対して優れたパフォーマンスをもたらすことを示している。
さらに,新たなセンタデータへの再トレーニングを最小にすることで,事前学習モデルの計算コストと時間コストを大幅に削減した。
関連論文リスト
- DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for
Medical Image Analysis [30.608225734194416]
医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。
トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。
最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
論文 参考訳(メタデータ) (2023-07-19T07:11:11Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Med-Tuning: Parameter-Efficient Transfer Learning with Fine-Grained
Feature Enhancement for Medical Volumetric Segmentation [39.03567546539026]
本稿では,医療用ボリュームセグメンテーションのためのパラメータ効率変換学習について述べる。
我々は,段階内特徴強調と段階間特徴相互作用に基づくMed-Tuningという新しいフレームワークを提案する。
本手法は,従来のセグメンテーションタスクにおけるパラメータ効率のよい移動学習法よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-04-21T10:47:13Z) - Towards foundation models and few-shot parameter-efficient fine-tuning
for volumetric organ segmentation [21.588709922418765]
FSEFT(Few-shot efficient fine-tuning)は、医用画像セグメンテーションの新規かつ現実的な設定である。
医用画像のセグメンテーションに適した,パラメータ効率の高いファインチューニング戦略を提案する。
臓器セグメント化のための公開CTデータセットの集合に関する包括的実験は、視覚アダプターやトランスダクティブ推論の可能性を示している。
論文 参考訳(メタデータ) (2023-03-29T22:50:05Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Visual Prompt Tuning [74.5309408185523]
本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。
VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
論文 参考訳(メタデータ) (2022-03-23T01:17:16Z) - Kronecker Factorization for Preventing Catastrophic Forgetting in
Large-scale Medical Entity Linking [7.723047334864811]
医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。
破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。
本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
論文 参考訳(メタデータ) (2021-11-11T01:51:01Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳(メタデータ) (2020-05-03T02:36:00Z) - Automatic Data Augmentation via Deep Reinforcement Learning for
Effective Kidney Tumor Segmentation [57.78765460295249]
医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。
本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。
提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
論文 参考訳(メタデータ) (2020-02-22T14:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。