論文の概要: Towards foundation models and few-shot parameter-efficient fine-tuning for volumetric organ segmentation

• arxiv url: http://arxiv.org/abs/2303.17051v2
• Date: Fri, 29 Sep 2023 01:16:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 19:06:11.608297
• Title: Towards foundation models and few-shot parameter-efficient fine-tuning for volumetric organ segmentation
• Title（参考訳）: ボリュームオルガンセグメンテーションの基礎モデルとマイトショットパラメータ効率向上のための微調整
• Authors: Julio Silva-Rodr\'iguez, Jose Dolz and Ismail Ben Ayed
• Abstract要約: FSEFT(Few-shot efficient fine-tuning)は、医用画像セグメンテーションの新規かつ現実的な設定である。 医用画像のセグメンテーションに適した,パラメータ効率の高いファインチューニング戦略を提案する。 臓器セグメント化のための公開CTデータセットの集合に関する包括的実験は、視覚アダプターやトランスダクティブ推論の可能性を示している。
• 参考スコア（独自算出の注目度）: 21.588709922418765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the recent raise of foundation models in computer vision and NLP, the pretrain-and-adapt strategy, where a large-scale model is fine-tuned on downstream tasks, is gaining popularity. However, traditional fine-tuning approaches may still require significant resources and yield sub-optimal results when the labeled data of the target task is scarce. This is especially the case in clinical settings. To address this challenge, we formalize few-shot efficient fine-tuning (FSEFT), a novel and realistic setting for medical image segmentation. Furthermore, we introduce a novel parameter-efficient fine-tuning strategy tailored to medical image segmentation, with (a) spatial adapter modules that are more appropriate for dense prediction tasks; and (b) a constrained transductive inference, which leverages task-specific prior knowledge. Our comprehensive experiments on a collection of public CT datasets for organ segmentation reveal the limitations of standard fine-tuning methods in few-shot scenarios, point to the potential of vision adapters and transductive inference, and confirm the suitability of foundation models.
• Abstract（参考訳）: 近年のコンピュータビジョンとNLPの基礎モデルの増加に伴い、下流タスクで大規模モデルを微調整する事前訓練適応戦略が人気を集めている。 しかしながら、従来の微調整アプローチでは、ターゲットタスクのラベル付きデータが少ない場合、重要なリソースが必要であり、最適以下の結果が得られる可能性がある。 特に臨床場面ではそうである。 この課題に対処するために,医療画像分割のための新しい現実的な設定であるfseft( few-shot efficient fine-tuning)を定式化した。 さらに, 医用画像セグメンテーションに適したパラメータ効率の良い微調整戦略を提案する。 (a)密集した予測作業に適した空間アダプタモジュール b)タスク固有の事前知識を活用する制約付きトランスダクティブ推論。 臓器セグメンテーションのための公開CTデータセットの集合に関する包括的実験は、数ショットシナリオにおける標準的な微調整手法の限界を明らかにし、視覚アダプタやトランスダクティブ推論の可能性を示し、基礎モデルの適合性を確認する。

関連論文リスト

• Meta-Learning Adaptable Foundation Models [37.458141335750696]
  本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。 この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。 次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation [10.746776960260297]
  軽量低ランク適応 (LoRA) を用いた新しい連続体器官分割モデルを提案する。 まず、最初のタスクでピラミッドビジョントランスフォーマー(PVT)ベースセグメンテーションモデルをトレーニングし、その後、新しい学習タスク毎に凍結モデルに軽量でトレーニング可能なLoRAパラメータを継続的に追加する。 提案モデルでは, 破滅的忘れを伴わず, 低パラメータ増加率を維持しながら, 新しい臓器を連続的に分割する。
  論文  参考訳（メタデータ） (2024-10-07T02:00:13Z)
• Few-Shot Airway-Tree Modeling using Data-Driven Sparse Priors [0.0]
  限られたアノテートデータのみを使用して事前訓練されたモデルを転送するには、少ないショットの学習アプローチが費用対効果がある。 我々は,肺CTスキャンにおいて,気道の効率を高めるために,データ駆動型スペーシフィケーションモジュールを訓練する。 次に、これらのスパース表現を標準教師付きセグメンテーションパイプラインに組み込み、DLモデルの性能を高めるための事前学習ステップとする。
  論文  参考訳（メタデータ） (2024-07-05T13:46:11Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Meta Transfer of Self-Supervised Knowledge: Foundation Model in Action for Post-Traumatic Epilepsy Prediction [0.6291443816903801]
  基礎モデルに新たなトレーニング戦略を導入する。 提案手法は,小規模臨床データセットのタスク性能を著しく向上することを示す。 さらに, 基礎モデルの一般化性の向上を実証した。
  論文  参考訳（メタデータ） (2023-12-21T07:42:49Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Kronecker Factorization for Preventing Catastrophic Forgetting in Large-scale Medical Entity Linking [7.723047334864811]
  医療分野では、タスクのシーケンシャルなトレーニングがモデルをトレーニングする唯一の方法である場合もあります。 破滅的な忘れ物、すなわち、新しいタスクのためにモデルが更新されたとき、以前のタスクの精度が大幅に低下します。 本稿では,この手法が3つのデータセットにまたがる医療機関の重要かつ実証的な課題に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-11T01:51:01Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。