論文の概要: AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation

• arxiv url: http://arxiv.org/abs/2308.03726v1
• Date: Mon, 7 Aug 2023 17:12:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 12:45:12.820971
• Title: AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation
• Title（参考訳）: AdaptiveSAM: 手術シーンセグメンテーションにおけるSAMの効率的なチューニングに向けて
• Authors: Jay N. Paranjape, Nithin Gopalakrishnan Nair, Shameema Sikder, S. Swaroop Vedula, Vishal M. Patel
• Abstract要約: 本稿では,新しいデータセットに迅速かつ効率的に適応できるSegment-Anything(SAM)の適応的な修正を提案する。 AdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、ラベル名のみをプロンプトとして、興味のあるオブジェクトをセグメント化することができる。 実験の結果,AdaptiveSAMは様々な医用画像データセットの最先端手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 49.59991322513561
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Segmentation is a fundamental problem in surgical scene analysis using artificial intelligence. However, the inherent data scarcity in this domain makes it challenging to adapt traditional segmentation techniques for this task. To tackle this issue, current research employs pretrained models and finetunes them on the given data. Even so, these require training deep networks with millions of parameters every time new data becomes available. A recently published foundation model, Segment-Anything (SAM), generalizes well to a large variety of natural images, hence tackling this challenge to a reasonable extent. However, SAM does not generalize well to the medical domain as is without utilizing a large amount of compute resources for fine-tuning and using task-specific prompts. Moreover, these prompts are in the form of bounding-boxes or foreground/background points that need to be annotated explicitly for every image, making this solution increasingly tedious with higher data size. In this work, we propose AdaptiveSAM - an adaptive modification of SAM that can adjust to new datasets quickly and efficiently, while enabling text-prompted segmentation. For finetuning AdaptiveSAM, we propose an approach called bias-tuning that requires a significantly smaller number of trainable parameters than SAM (less than 2\%). At the same time, AdaptiveSAM requires negligible expert intervention since it uses free-form text as prompt and can segment the object of interest with just the label name as prompt. Our experiments show that AdaptiveSAM outperforms current state-of-the-art methods on various medical imaging datasets including surgery, ultrasound and X-ray. Code is available at https://github.com/JayParanjape/biastuning
• Abstract（参考訳）: セグメンテーションは、人工知能を用いた手術シーン解析における根本的な問題である。 しかし、この領域に固有のデータ不足は、このタスクに伝統的なセグメンテーション技術を適用することを困難にしている。 この問題に対処するために、現在の研究は事前訓練されたモデルを採用し、与えられたデータに基づいて微調整する。 それでも、新しいデータが利用可能になる度に数百万のパラメータを持つディープネットワークをトレーニングする必要がある。 最近公開された基盤モデルであるsegment-anything(sam)は、様々な自然画像にうまく一般化しているため、この課題をある程度解決している。 しかし、SAMは、タスク固有のプロンプトの微調整や使用のために大量の計算資源を使わずに、医学領域によく当てはまらない。 さらに、これらのプロンプトはバウンディングボックスや、すべてのイメージに対して明示的にアノテートする必要があるフォアグラウンド/バックグラウンドポイントの形式で実現されている。 本研究では,新しいデータセットに迅速かつ効率的に適応できるSAMを適応的に修正したAdaptiveSAMを提案する。 AdaptiveSAMを微調整するには、SAMよりも訓練可能なパラメータがかなり少ない(2\%未満)バイアスチューニングという手法を提案する。 同時にAdaptiveSAMは、フリーフォームテキストをプロンプトとして使用し、興味のあるオブジェクトを単にラベル名でプロンプトとしてセグメント化できるため、無視可能な専門家の介入を必要とする。 以上の結果から,adaptivesamは手術,超音波,x線などの医用画像データセットにおいて最先端の手法に勝ることが示された。 コードはhttps://github.com/JayParanjape/biastuningで入手できる。

関連論文リスト

• Generalized SAM: Efficient Fine-Tuning of SAM for Variable Input Image Sizes [3.8506666685467343]
  本稿では,Segment Anything Model (SAM) の入力画像サイズを可変化するための,効率的な微調整手法を提案する。 一般化SAM(GSAM)は、SAMを用いたトレーニング中にランダムトリミングを初めて適用し、トレーニングの計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-22T13:58:08Z)
• S-SAM: SVD-based Fine-Tuning of Segment Anything Model for Medical Image Segmentation [25.12190845061075]
  我々はS-SAMと呼ばれる適応手法を提案し、SAMのパラメータの0.4%に相当するパラメータのみを訓練すると同時に、単にラベル名を正確なマスクを生成するためのプロンプトとして利用する。 内視鏡像,X線像,超音波像,CT像,組織像の5つの異なるモードで評価した。
  論文  参考訳（メタデータ） (2024-08-12T18:53:03Z)
• Improving Segment Anything on the Fly: Auxiliary Online Learning and Adaptive Fusion for Medical Image Segmentation [52.172885882728174]
  医療画像の文脈では、SAMがそのセグメンテーション予測を生成した後、人間の専門家が特定のテストサンプルのセグメンテーションを修正することは珍しくない。 我々は、オンライン機械学習の利点を活用して、テスト期間中にSegment Anything(SA)を強化する新しいアプローチを導入する。 医用画像におけるSAのセグメンテーション品質を改善することを目的として,オンライン学習のための修正アノテーションを用いた。
  論文  参考訳（メタデータ） (2024-06-03T03:16:25Z)
• BA-SAM: Scalable Bias-Mode Attention Mask for Segment Anything Model [65.92173280096588]
  我々は,Segment Anything Model (SAM)における画像分解能変動の課題に対処する。 SAMはゼロショットの汎用性で知られており、さまざまな画像サイズを持つデータセットに直面するとパフォーマンスが低下する。 我々は、各トークンが隣り合う情報を優先順位付けできるバイアスモードのアテンションマスクを提案する。
  論文  参考訳（メタデータ） (2024-01-04T15:34:44Z)
• MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation [58.53672866662472]
  我々はMA-SAMと命名されたモダリティに依存しないSAM適応フレームワークを提案する。 本手法は,重量増加のごく一部だけを更新するためのパラメータ効率の高い微調整戦略に根ざしている。 画像エンコーダのトランスバータブロックに一連の3Dアダプタを注入することにより,事前学習した2Dバックボーンが入力データから3次元情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-09-16T02:41:53Z)
• Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting [10.308637269138146]
  超音波画像分割に適したユニバーサルモデルとしてSAMUSを提案する。 さらに、AutoSAMUSと表記されるエンドツーエンドで動作できるようにします。 AutoSAMUSは、SAMUSのマニュアルプロンプトエンコーダを置き換えるために自動プロンプトジェネレータ(APG)を導入することで実現されている。
  論文  参考訳（メタデータ） (2023-09-13T09:15:20Z)
• SurgicalSAM: Efficient Class Promptable Surgical Instrument Segmentation [65.52097667738884]
  そこで本研究では,SAMの知識と外科的特異的情報を統合し,汎用性を向上させるための,新しいエンドツーエンドの効率的なチューニング手法であるScientialSAMを紹介した。 具体的には,タイピングのための軽量なプロトタイプベースクラスプロンプトエンコーダを提案し,クラスプロトタイプから直接プロンプト埋め込みを生成する。 また,手術器具カテゴリー間のクラス間差異の低さに対応するために,コントラッシブなプロトタイプ学習を提案する。
  論文  参考訳（メタデータ） (2023-08-17T02:51:01Z)
• How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
  Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。 しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。 本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T18:34:30Z)
• Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation [51.770805270588625]
  Segment Anything Model (SAM)は画像セグメンテーションの分野で最近人気を集めている。 近年の研究では、SAMは医用画像のセグメンテーションにおいて過小評価されている。 ドメイン固有の医療知識をセグメンテーションモデルに組み込んだ医療SAMアダプタ(Med-SA)を提案する。
  論文  参考訳（メタデータ） (2023-04-25T07:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。