論文の概要: Towards foundation models and few-shot parameter-efficient fine-tuning
for volumetric organ segmentation
- arxiv url: http://arxiv.org/abs/2303.17051v2
- Date: Fri, 29 Sep 2023 01:16:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 19:06:11.608297
- Title: Towards foundation models and few-shot parameter-efficient fine-tuning
for volumetric organ segmentation
- Title(参考訳): ボリュームオルガンセグメンテーションの基礎モデルとマイトショットパラメータ効率向上のための微調整
- Authors: Julio Silva-Rodr\'iguez, Jose Dolz and Ismail Ben Ayed
- Abstract要約: FSEFT(Few-shot efficient fine-tuning)は、医用画像セグメンテーションの新規かつ現実的な設定である。
医用画像のセグメンテーションに適した,パラメータ効率の高いファインチューニング戦略を提案する。
臓器セグメント化のための公開CTデータセットの集合に関する包括的実験は、視覚アダプターやトランスダクティブ推論の可能性を示している。
- 参考スコア(独自算出の注目度): 21.588709922418765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the recent raise of foundation models in computer vision and NLP, the
pretrain-and-adapt strategy, where a large-scale model is fine-tuned on
downstream tasks, is gaining popularity. However, traditional fine-tuning
approaches may still require significant resources and yield sub-optimal
results when the labeled data of the target task is scarce. This is especially
the case in clinical settings. To address this challenge, we formalize few-shot
efficient fine-tuning (FSEFT), a novel and realistic setting for medical image
segmentation. Furthermore, we introduce a novel parameter-efficient fine-tuning
strategy tailored to medical image segmentation, with (a) spatial adapter
modules that are more appropriate for dense prediction tasks; and (b) a
constrained transductive inference, which leverages task-specific prior
knowledge. Our comprehensive experiments on a collection of public CT datasets
for organ segmentation reveal the limitations of standard fine-tuning methods
in few-shot scenarios, point to the potential of vision adapters and
transductive inference, and confirm the suitability of foundation models.
- Abstract(参考訳): 近年のコンピュータビジョンとNLPの基礎モデルの増加に伴い、下流タスクで大規模モデルを微調整する事前訓練適応戦略が人気を集めている。
しかしながら、従来の微調整アプローチでは、ターゲットタスクのラベル付きデータが少ない場合、重要なリソースが必要であり、最適以下の結果が得られる可能性がある。
特に臨床場面ではそうである。
この課題に対処するために,医療画像分割のための新しい現実的な設定であるfseft( few-shot efficient fine-tuning)を定式化した。
さらに, 医用画像セグメンテーションに適したパラメータ効率の良い微調整戦略を提案する。
(a)密集した予測作業に適した空間アダプタモジュール
b)タスク固有の事前知識を活用する制約付きトランスダクティブ推論。
臓器セグメンテーションのための公開CTデータセットの集合に関する包括的実験は、数ショットシナリオにおける標準的な微調整手法の限界を明らかにし、視覚アダプタやトランスダクティブ推論の可能性を示し、基礎モデルの適合性を確認する。
関連論文リスト
- Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction [0.6291443816903801]
基礎モデルに新たなトレーニング戦略を導入する。
提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。
さらに, 基礎モデルの一般化性の向上を実証した。
論文 参考訳(メタデータ) (2023-12-21T07:42:49Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-28T11:23:34Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Prompt-Based Tuning of Transformer Models for Multi-Center Medical Image
Segmentation of Head and Neck Cancer [0.0]
本稿では,新しい医療センターのデータに事前訓練されたトランスフォーマーベースセグメンテーションモデルを適用するための,新しい微調整戦略を提案する。
我々の戦略は、新センターデータの再トレーニングを最小限に抑え、計算コストと時間コストを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-30T11:26:52Z) - Med-Tuning: Parameter-Efficient Transfer Learning with Fine-Grained
Feature Enhancement for Medical Volumetric Segmentation [39.03567546539026]
本稿では,医療用ボリュームセグメンテーションのためのパラメータ効率変換学習について述べる。
我々は,段階内特徴強調と段階間特徴相互作用に基づくMed-Tuningという新しいフレームワークを提案する。
本手法は,従来のセグメンテーションタスクにおけるパラメータ効率のよい移動学習法よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-04-21T10:47:13Z) - IterMiUnet: A lightweight architecture for automatic blood vessel
segmentation [10.538564380139483]
本稿では,新しい軽量畳み込み型セグメンテーションモデルであるIterMiUnetを提案する。
MiUnetモデルのエンコーダ・デコーダ構造を組み込むことで、その非常にパラメトリズドな性質を克服する。
提案モデルは,多くの疾患の早期診断のためのツールとして活用される可能性が大きい。
論文 参考訳(メタデータ) (2022-08-02T14:33:14Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T04:10:04Z) - A Twin Neural Model for Uplift [59.38563723706796]
Upliftは条件付き治療効果モデリングの特定のケースです。
相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。
本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
論文 参考訳(メタデータ) (2021-05-11T16:02:39Z) - An Uncertainty-Driven GCN Refinement Strategy for Organ Segmentation [53.425900196763756]
本研究では,不確実性解析とグラフ畳み込みネットワークに基づくセグメンテーション改善手法を提案する。
半教師付きグラフ学習問題を定式化するために、特定の入力ボリュームにおける畳み込みネットワークの不確実性レベルを用いる。
本手法は膵臓で1%,脾臓で2%向上し,最先端のCRF改善法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-06T18:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。