論文の概要: Prompt-based Tuning of Transformer Models for Multi-Center Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2305.18948v1
• Date: Tue, 30 May 2023 11:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 16:53:15.759208
• Title: Prompt-based Tuning of Transformer Models for Multi-Center Medical Image Segmentation
• Title（参考訳）: マルチセンター医用画像分割のためのトランスフォーマーモデルのプロンプトベースチューニング
• Authors: Numan Saeed, Muhammad Ridzuan, Roba Al Majzoub, Mohammad Yaqub
• Abstract要約: 本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。 我々の戦略は、新しいセンターデータに基づいて最小限のトレーニングを行い、微調整済みモデルの計算コストと時間コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Medical image segmentation is a vital healthcare endeavor requiring precise and efficient models for appropriate diagnosis and treatment. Vision transformer-based segmentation models have shown great performance in accomplishing this task. However, to build a powerful backbone, the self-attention block of ViT requires large-scale pre-training data. The present method of modifying pre-trained models entails updating all or some of the backbone parameters. This paper proposes a novel fine-tuning strategy for adapting a pretrained transformer-based segmentation model on data from a new medical center. This method introduces a small number of learnable parameters, termed prompts, into the input space (less than 1\% of model parameters) while keeping the rest of the model parameters frozen. Extensive studies employing data from new unseen medical centers show that prompts-based fine-tuning of medical segmentation models provides excellent performance on the new center data with a negligible drop on the old centers. Additionally, our strategy delivers great accuracy with minimum re-training on new center data, significantly decreasing the computational and time costs of fine-tuning pre-trained models.
• Abstract（参考訳）: 医療画像分割は、適切な診断と治療のために正確かつ効率的なモデルを必要とする重要な医療活動である。 ビジョントランスフォーマティブに基づくセグメンテーションモデルは、このタスクの達成において優れた性能を示している。 しかし、強力なバックボーンを構築するには、ViTの自己注意ブロックは大規模な事前学習データを必要とする。 事前訓練されたモデルの修正には、バックボーンパラメータの全てまたは一部を更新する必要がある。 本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。 この方法では、学習可能な少数のパラメータ(プロンプトと呼ばれる)を入力空間に導入し(モデルのパラメータの1\%未満)、残りのパラメータは凍結する。 新しい医療センターのデータを用いた広範囲にわたる研究は、医療セグメントモデルのプロンプトに基づく微調整が、古いセンターに無視できないドロップで新しいセンターデータに優れたパフォーマンスをもたらすことを示している。 さらに,本手法は,新たなセンターデータに対して最小限のトレーニングを行い,微調整済みモデルの計算コストと時間コストを大幅に削減する。

関連論文リスト

• Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation [10.746776960260297]
  軽量低ランク適応 (LoRA) を用いた新しい連続体器官分割モデルを提案する。 まず、最初のタスクでピラミッドビジョントランスフォーマー(PVT)ベースセグメンテーションモデルをトレーニングし、その後、新しい学習タスク毎に凍結モデルに軽量でトレーニング可能なLoRAパラメータを継続的に追加する。 提案モデルでは, 破滅的忘れを伴わず, 低パラメータ増加率を維持しながら, 新しい臓器を連続的に分割する。
  論文  参考訳（メタデータ） (2024-10-07T02:00:13Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Few-Shot Airway-Tree Modeling using Data-Driven Sparse Priors [0.0]
  限られたアノテートデータのみを使用して事前訓練されたモデルを転送するには、少ないショットの学習アプローチが費用対効果がある。 我々は,肺CTスキャンにおいて,気道の効率を高めるために,データ駆動型スペーシフィケーションモジュールを訓練する。 次に、これらのスパース表現を標準教師付きセグメンテーションパイプラインに組み込み、DLモデルの性能を高めるための事前学習ステップとする。
  論文  参考訳（メタデータ） (2024-07-05T13:46:11Z)
• DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis [30.608225734194416]
  医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。 トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。 最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
  論文  参考訳（メタデータ） (2023-07-19T07:11:11Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation [20.94974284175104]
  FSEFT(Few-Shot Efficient Fine-Tuning)は、医用画像セグメンテーション基礎モデルに適用するための、新規かつ現実的なシナリオである。 総合的な転写学習実験により, 医用画像分割における基礎モデルの適合性を確認し, 数ショットのシナリオにおいて, 一般的な微調整戦略の限界を明らかにする。
  論文  参考訳（メタデータ） (2023-03-29T22:50:05Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Kronecker Factorization for Preventing Catastrophic Forgetting in Large-scale Medical Entity Linking [7.723047334864811]
  医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。 破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。 本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-11T01:51:01Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)
• Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation [57.78765460295249]
  医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。 本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。 提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
  論文  参考訳（メタデータ） (2020-02-22T14:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。