Fugu-MT 論文翻訳(概要): CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM

論文の概要: CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM

arxiv url: http://arxiv.org/abs/2407.06795v1
Date: Tue, 9 Jul 2024 12:08:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-10 18:07:16.758423
Title: CycleSAM: One-Shot Surgical Scene Segmentation using Cycle-Consistent Feature Matching to Prompt SAM
Title（参考訳）: CycleSAM と PromptSAM を併用した一眼手術シーン分割
Authors: Aditya Murali, Pietro Mascagni, Didier Mutter, Nicolas Padoy,
Abstract要約: CycleSAMは、テスト時にトレーニングイメージマスクペアを使用してワンショットの手術シーンセグメンテーションを行うアプローチである。手術画像に事前訓練されたResNet50エンコーダを自己教師方式で採用し,高いラベル効率を維持する。
参考スコア（独自算出の注目度）: 2.9500242602590565
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The recently introduced Segment-Anything Model (SAM) has the potential to greatly accelerate the development of segmentation models. However, directly applying SAM to surgical images has key limitations including (1) the requirement of image-specific prompts at test-time, thereby preventing fully automated segmentation, and (2) ineffectiveness due to substantial domain gap between natural and surgical images. In this work, we propose CycleSAM, an approach for one-shot surgical scene segmentation that uses the training image-mask pair at test-time to automatically identify points in the test images that correspond to each object class, which can then be used to prompt SAM to produce object masks. To produce high-fidelity matches, we introduce a novel spatial cycle-consistency constraint that enforces point proposals in the test image to rematch to points within the object foreground region in the training image. Then, to address the domain gap, rather than directly using the visual features from SAM, we employ a ResNet50 encoder pretrained on surgical images in a self-supervised fashion, thereby maintaining high label-efficiency. We evaluate CycleSAM for one-shot segmentation on two diverse surgical semantic segmentation datasets, comprehensively outperforming baseline approaches and reaching up to 50% of fully-supervised performance.
Abstract（参考訳）: 最近導入されたSegment-Anything Model (SAM)は、セグメンテーションモデルの開発を大幅に加速する可能性がある。しかし,術中画像へのSAM直接適用には,(1)検査時の画像特異的なプロンプトの要求,(2)自然画像と外科画像の領域ギャップによる完全自動セグメンテーションの防止,など,重要な制限がある。そこで本研究では,単発手術シーンセグメンテーションのアプローチであるCycleSAMを提案し,各オブジェクトクラスに対応するテスト画像中の点を自動的に識別し,SAMにオブジェクトマスクの生成を促す。高忠実度マッチングを実現するために,テスト画像内の点提案を強制し,トレーニング画像内の対象前景領域内の点に再マッチする空間的周期整合性制約を導入する。そして,SAMの視覚的特徴を直接利用するのではなく,自己監督型で手術画像に事前訓練されたResNet50エンコーダを用いて,高いラベル効率を維持する。そこで我々はCycleSAMを2つの多様な外科的セグメンテーションデータセットのワンショットセグメンテーションで評価し、ベースラインアプローチを総合的に上回り、完全に教師されたパフォーマンスの最大50%に到達した。

関連論文リスト

Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation [47.789013598970925]
半教師型医用画像分割のための知識蒸留フレームワークKnowSAMを提案する。我々のモデルは最先端の半教師付きセグメンテーションアプローチより優れている。
論文参考訳（メタデータ） (2024-12-18T11:19:23Z)
SAM-MPA: Applying SAM to Few-shot Medical Image Segmentation using Mask Propagation and Auto-prompting [6.739803086387235]
医用画像のセグメンテーションは、しばしば高額なアノテーションコストの課題に直面している。本稿では,10億枚以上のマスクで事前学習したセグメンション・アプライシング・モデル(SAM)を活用することを提案する。 SAM-MPA は,医療画像の断片化のためのイノベーティブな SAM ベースのフレームワークである。
論文参考訳（メタデータ） (2024-11-26T12:12:12Z)
Adaptive Prompt Learning with SAM for Few-shot Scanning Probe Microscope Image Segmentation [11.882111844381098]
Segment Anything Model (SAM) は自然シーン画像のイメージセグメンテーションにおいて強い性能を示した。 SAMの有効性は、SPM(Scanning Probe Microscope)画像のような特定の科学的領域に適用すると著しく低下する。本稿では,数ショットのSPM画像セグメンテーションに適したSAMフレームワークを用いたAdaptive Prompt Learningを提案する。
論文参考訳（メタデータ） (2024-10-16T13:38:01Z)
Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文参考訳（メタデータ） (2024-09-23T19:05:50Z)
SAM Fewshot Finetuning for Anatomical Segmentation in Medical Images [3.2099042811875833]
医用画像の解剖学的セグメンテーションタスクにSAM(Seegment Anything)を適用するための戦略を提案する。画像埋め込みで取得した解剖学的クエリーオブジェクトのプロンプトとして,ラベル付き画像の限られたセットから得られる少数ショット埋め込みを利用する。本手法は,キャッシング機構を用いてマスクデコーダのみをトレーニングすることにより,微調整プロセスの効率化を優先する。
論文参考訳（メタデータ） (2024-07-05T17:07:25Z)
FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。 2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
論文参考訳（メタデータ） (2024-05-29T02:34:13Z)
Guided Prompting in SAM for Weakly Supervised Cell Segmentation in Histopathological Images [27.14641973632063]
本稿では、セグメンタを誘導するために、関連するタスクからのアノテーションである弱い監視を使用することに焦点を当てる。 SAM(Segment Anything)のような最近の基礎モデルは、推論中に追加の監視を活用するためにプロンプトを使用することができる。すべてのSAMベースのソリューションは、既存の弱教師付きイメージセグメンテーションモデルを大幅に上回り、9～15 ptのDiceゲインを得る。
論文参考訳（メタデータ） (2023-11-29T11:18:48Z)
SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation [27.044797468878837]
Segment Anything Model (SAM)は、自然画像に広範囲のオブジェクトを分割する機能を示す。本稿では、SAMとドメイン固有の知識を組み合わせて、ラベルなし画像の信頼性の高い利用法を提案する。本研究は,医用画像セグメンテーションのための半教師あり学習の新たな方向性を創出する。
論文参考訳（メタデータ） (2023-08-26T04:46:10Z)
Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。 PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。 PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文参考訳（メタデータ） (2023-05-04T17:59:36Z)
Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
論文参考訳（メタデータ） (2023-01-12T08:19:46Z)
A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
論文参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。