論文の概要: Ladder Fine-tuning approach for SAM integrating complementary network
- arxiv url: http://arxiv.org/abs/2306.12737v1
- Date: Thu, 22 Jun 2023 08:36:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-23 15:06:17.608047
- Title: Ladder Fine-tuning approach for SAM integrating complementary network
- Title(参考訳): SAM統合補間ネットワークのためのラダーファインチューニング手法
- Authors: Shurong Chai, Rahul Kumar Jain, Shiyu Teng, Jiaqing Liu, Yinhao Li,
Tomoko Tateyama, Yen-wei Chen
- Abstract要約: 医用画像では、プライバシー問題やその他の要因によるトレーニングサンプルの欠如が、これらの一般化されたモデルを医用画像分割タスクに適用する上で大きな課題となっている。
本研究では、医用画像分割のための標準SAMネットワークとともに、補完的な畳み込みニューラルネットワーク(CNN)を提案する。
この戦略は、トレニッヒ時間を著しく短縮し、公開データセット上での競合的な結果を達成する。
- 参考スコア(独自算出の注目度): 5.46706034286531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, foundation models have been introduced demonstrating various tasks
in the field of computer vision. These models such as Segment Anything Model
(SAM) are generalized models trained using huge datasets. Currently, ongoing
research focuses on exploring the effective utilization of these generalized
models for specific domains, such as medical imaging. However, in medical
imaging, the lack of training samples due to privacy concerns and other factors
presents a major challenge for applying these generalized models to medical
image segmentation task. To address this issue, the effective fine tuning of
these models is crucial to ensure their optimal utilization. In this study, we
propose to combine a complementary Convolutional Neural Network (CNN) along
with the standard SAM network for medical image segmentation. To reduce the
burden of fine tuning large foundation model and implement cost-efficient
trainnig scheme, we focus only on fine-tuning the additional CNN network and
SAM decoder part. This strategy significantly reduces trainnig time and
achieves competitive results on publicly available dataset. The code is
available at https://github.com/11yxk/SAM-LST.
- Abstract(参考訳): 近年,コンピュータビジョンの分野で様々な課題を示す基礎モデルが紹介されている。
Segment Anything Model (SAM)のようなこれらのモデルは、巨大なデータセットを使用してトレーニングされた一般化モデルである。
現在進行中の研究は、医療画像などの特定の領域におけるこれらの一般化モデルの有効利用を探求することに焦点を当てている。
しかし,医療画像では,プライバシの懸念やその他の要因によるトレーニングサンプルの欠如が,医療画像分割タスクに一般化モデルを適用する上で大きな課題となっている。
この問題に対処するため、これらのモデルの効果的な微調整は、それらの最適利用を保証するために不可欠である。
本研究では,医療画像分割のための標準SAMネットワークとともに,補完的な畳み込みニューラルネットワーク(CNN)を提案する。
大きな基礎モデルの微調整の負担を軽減し、コスト効率のよいトレインニグスキームを実装するため、追加のcnnネットワークとsamデコーダ部分の微調整にのみ焦点を合わせます。
この戦略はトレーニッヒの時間を著しく削減し、公開データセットで競争力のある結果を達成する。
コードはhttps://github.com/11yxk/SAM-LSTで公開されている。
関連論文リスト
- Masked LoGoNet: Fast and Accurate 3D Image Analysis for Medical Domain [48.440691680864745]
我々はLoGoNetと呼ばれる新しいニューラルネットワークアーキテクチャを導入する。
LoGoNetは、LKA(Large Kernel Attention)とデュアルエンコーディング戦略を利用して、U字型アーキテクチャに新しい特徴抽出器を統合する。
大規模ラベル付きデータセットの欠如を補うために,3次元画像に適した新しいSSL方式を提案する。
論文 参考訳(メタデータ) (2024-02-09T05:06:58Z) - PMFSNet: Polarized Multi-scale Feature Self-attention Network For
Lightweight Medical Image Segmentation [6.134314911212846]
現在の最先端の医用画像分割法は精度を優先するが、計算要求の増大とより大きなモデルサイズを犠牲にすることも多い。
計算冗長性を避けつつグローバルな局所特徴処理のバランスをとる新しい医用画像分割モデルPMFSNetを提案する。
長期依存関係をキャプチャするために,アテンション機構に基づいたマルチスケール機能拡張モジュールであるPMFSブロックをプラグインとして組み込んでいる。
論文 参考訳(メタデータ) (2024-01-15T10:26:47Z) - Testing the Segment Anything Model on radiology data [0.0]
Segment Anything Model (SAM)が最近提案され、画像セグメンテーションのための最初の基礎モデルとなっている。
非常に限られた症例では受け入れられるが、全体的な傾向から、これらのモデルがMRIセグメンテーションに不十分であることがわかる。
自然画像に基づいて訓練された基礎モデルは、予測モデリングの重要な側面となるが、他の画像モダリティで使用すると効果がないことが証明される。
論文 参考訳(メタデータ) (2023-12-20T09:45:21Z) - Improving the Generalization of Segmentation Foundation Model under
Distribution Shift via Weakly Supervised Adaptation [47.804446629216656]
本稿では,アンカー正規化と低ランク微調整を併用した弱教師付き自己学習アーキテクチャを提案する。
本研究では, 自然浄化・破損画像, 医用画像, カモフラージュ画像, ロボット画像など, 5種類の下流セグメンテーションタスクの有効性を検証した。
論文 参考訳(メタデータ) (2023-12-06T13:59:22Z) - nnSAM: Plug-and-play Segment Anything Model Improves nnUNet Performance [13.056321925093792]
本稿では SAM モデルと nnUNet モデルを統合し,より正確で堅牢な医用画像分割を実現する nnSAM を提案する。
nnSAMは、医療画像セグメンテーションの潜在的な新しいベンチマークとして、幅広い適用性と特殊な効率性を組み合わせたツールを提供している。
論文 参考訳(メタデータ) (2023-09-29T04:26:25Z) - MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image
Segmentation [58.53672866662472]
我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。
本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。
画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
論文 参考訳(メタデータ) (2023-09-16T02:41:53Z) - Self-Prompting Large Vision Models for Few-Shot Medical Image
Segmentation [14.135249795318591]
本稿では,医療ビジョン応用における自己プロンプトの新たな視点を提案する。
我々は、Segment Anything Modelの埋め込み空間を利用して、単純だが効果的な線形ピクセルワイド分類器を通して自身を誘導する。
複数のデータセットで競合する結果を得る。
論文 参考訳(メタデータ) (2023-08-15T08:20:07Z) - AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene
Segmentation [49.59991322513561]
本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。
AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。
実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-08-07T17:12:54Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - Realistic Adversarial Data Augmentation for MR Image Segmentation [17.951034264146138]
医用画像セグメンテーションのためのニューラルネットワークのトレーニングのための逆データ拡張手法を提案する。
このモデルでは,MR画像における共通の種類のアーチファクトによって生じる強度不均一性,すなわちバイアス場をモデル化する。
このような手法により,モデルの一般化と堅牢性の向上が図られ,低データシナリオにおける大幅な改善が期待できる。
論文 参考訳(メタデータ) (2020-06-23T20:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。