論文の概要: Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation
- arxiv url: http://arxiv.org/abs/2303.17051v3
- Date: Thu, 03 Oct 2024 17:53:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:29:46.451898
- Title: Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation
- Title（参考訳）: 体積臓器分割のための基礎モデルとFew-Shotパラメータ効率の良い微調整に向けて
- Authors: Julio Silva-Rodríguez, Jose Dolz, Ismail Ben Ayed,
- Abstract要約: FSEFT(Few-Shot Efficient Fine-Tuning)は、医用画像セグメンテーション基礎モデルに適用するための、新規かつ現実的なシナリオである。
総合的な転写学習実験により, 医用画像分割における基礎モデルの適合性を確認し, 数ショットのシナリオにおいて, 一般的な微調整戦略の限界を明らかにする。
- 参考スコア（独自算出の注目度）: 20.94974284175104
- License:
- Abstract: The recent popularity of foundation models and the pre-train-and-adapt paradigm, where a large-scale model is transferred to downstream tasks, is gaining attention for volumetric medical image segmentation. However, current transfer learning strategies devoted to full fine-tuning for transfer learning may require significant resources and yield sub-optimal results when the labeled data of the target task is scarce. This makes its applicability in real clinical settings challenging since these institutions are usually constrained on data and computational resources to develop proprietary solutions. To address this challenge, we formalize Few-Shot Efficient Fine-Tuning (FSEFT), a novel and realistic scenario for adapting medical image segmentation foundation models. This setting considers the key role of both data- and parameter- efficiency during adaptation. Building on a foundation model pre-trained on open-access CT organ segmentation sources, we propose leveraging Parameter-Efficient Fine-Tuning and black-box Adapters to address such challenges. Furthermore, novel efficient adaptation methodologies are introduced in this work, which include Spatial black-box Adapters that are more appropriate for dense prediction tasks and constrained transductive inference, leveraging task-specific prior knowledge. Our comprehensive transfer learning experiments confirm the suitability of foundation models in medical image segmentation and unveil the limitations of popular fine-tuning strategies in few-shot scenarios.
- Abstract（参考訳）: 近年のファンデーションモデルや,大規模モデルを下流タスクに移行する事前学習パラダイムが注目されている。
しかし、伝達学習のための完全な微調整のための現在の伝達学習戦略は、目標タスクのラベル付きデータが不足している場合には、重要なリソースを必要とし、準最適結果が得られる可能性がある。
これらの機関は通常、プロプライエタリなソリューションを開発するためにデータや計算資源に制約されているため、実際の臨床環境での適用は困難である。
この課題に対処するために、医用画像分割基盤モデルに適応するための新規で現実的なシナリオであるFSEFT(Few-Shot Efficient Fine-Tuning)を定式化する。
この設定は、適応中のデータ効率とパラメータ効率の両方の重要な役割を考慮します。
オープンアクセスCT臓器セグメンテーションを前提とした基礎モデルを構築し,パラメータ効率の良いファインチューニングとブラックボックスアダプタを用いて,このような課題に対処する。
さらに,高密度な予測タスクに適した空間ブラックボックス適応器や,タスク固有の事前知識を活用する制約付き帰納的推論など,新たな効率的な適応手法が提案されている。
総合的な転写学習実験により, 医用画像分割における基礎モデルの適合性を確認し, 数ショットのシナリオにおいて, 一般的な微調整戦略の限界を明らかにする。
関連論文リスト
- Meta-Learning Adaptable Foundation Models [37.458141335750696]
本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。
この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。
次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
論文 参考訳（メタデータ） (2024-10-29T17:24:18Z) - Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation [10.746776960260297]
軽量低ランク適応 (LoRA) を用いた新しい連続体器官分割モデルを提案する。
まず、最初のタスクでピラミッドビジョントランスフォーマー(PVT)ベースセグメンテーションモデルをトレーニングし、その後、新しい学習タスク毎に凍結モデルに軽量でトレーニング可能なLoRAパラメータを継続的に追加する。
提案モデルでは, 破滅的忘れを伴わず, 低パラメータ増加率を維持しながら, 新しい臓器を連続的に分割する。
論文 参考訳（メタデータ） (2024-10-07T02:00:13Z) - Few-Shot Airway-Tree Modeling using Data-Driven Sparse Priors [0.0]
限られたアノテートデータのみを使用して事前訓練されたモデルを転送するには、少ないショットの学習アプローチが費用対効果がある。
我々は,肺CTスキャンにおいて,気道の効率を高めるために,データ駆動型スペーシフィケーションモジュールを訓練する。
次に、これらのスパース表現を標準教師付きセグメンテーションパイプラインに組み込み、DLモデルの性能を高めるための事前学習ステップとする。
論文 参考訳（メタデータ） (2024-07-05T13:46:11Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action
for Post-Traumatic Epilepsy Prediction [0.6291443816903801]
基礎モデルに新たなトレーニング戦略を導入する。
提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。
さらに, 基礎モデルの一般化性の向上を実証した。
論文 参考訳（メタデータ） (2023-12-21T07:42:49Z) - Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。
IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。
提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
論文 参考訳（メタデータ） (2023-09-25T15:56:01Z) - Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-15T17:55:05Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2022-06-20T15:25:08Z) - Kronecker Factorization for Preventing Catastrophic Forgetting in
Large-scale Medical Entity Linking [7.723047334864811]
医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。
破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。
本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
論文 参考訳（メタデータ） (2021-11-11T01:51:01Z) - Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。
我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-28T23:06:26Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。