論文の概要: Boosting Few-Shot Semantic Segmentation Via Segment Anything Model
- arxiv url: http://arxiv.org/abs/2401.09826v2
- Date: Sat, 20 Jan 2024 07:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 18:51:57.293900
- Title: Boosting Few-Shot Semantic Segmentation Via Segment Anything Model
- Title(参考訳): segment anythingモデルによる少数ショット意味セグメンテーションの促進
- Authors: Chen-Bin Feng, Qi Lai, Kangdao Liu, Houcheng Su, Chi-Man Vong
- Abstract要約: セマンティックセグメンテーションでは、医用画像解析や画像編集といった下流作業には正確な予測マスクが不可欠である。
注釈付きデータがないため、少数ショットセマンティックセグメンテーション(FSS)は正確な輪郭を持つマスクを予測するのに不十分である。
本研究では,不正確な輪郭の問題に対処して,FSS法を高速化するFSS-SAMを提案する。
- 参考スコア(独自算出の注目度): 8.773067974503123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In semantic segmentation, accurate prediction masks are crucial for
downstream tasks such as medical image analysis and image editing. Due to the
lack of annotated data, few-shot semantic segmentation (FSS) performs poorly in
predicting masks with precise contours. Recently, we have noticed that the
large foundation model segment anything model (SAM) performs well in processing
detailed features. Inspired by SAM, we propose FSS-SAM to boost FSS methods by
addressing the issue of inaccurate contour. The FSS-SAM is training-free. It
works as a post-processing tool for any FSS methods and can improve the
accuracy of predicted masks. Specifically, we use predicted masks from FSS
methods to generate prompts and then use SAM to predict new masks. To avoid
predicting wrong masks with SAM, we propose a prediction result selection (PRS)
algorithm. The algorithm can remarkably decrease wrong predictions. Experiment
results on public datasets show that our method is superior to base FSS methods
in both quantitative and qualitative aspects.
- Abstract(参考訳): セマンティックセグメンテーションでは、正確な予測マスクが医療画像解析や画像編集などの下流タスクに不可欠である。
注釈付きデータの欠如により、少数の意味セマンティクスセグメンテーション(fss)は正確な輪郭を持つマスクの予測が不十分である。
近年,大規模な基盤モデルセグメントモデル (SAM) が詳細な特徴の処理に優れていることに気付いた。
SAMにインスパイアされたFSS-SAMは,不正確な輪郭の問題に対処し,FSS法を高速化する。
FSS-SAMはトレーニング不要。
FSSメソッドの処理後ツールとして機能し、予測されたマスクの精度を向上させることができる。
具体的には、FSS法による予測マスクを用いてプロンプトを生成し、SAMを用いて新しいマスクを予測する。
SAMを用いて間違ったマスクの予測を避けるために,予測結果選択(PRS)アルゴリズムを提案する。
このアルゴリズムは誤った予測を著しく減らすことができる。
実験結果から,本手法は定量的および定性的両面において基礎的FSS法よりも優れていることがわかった。
関連論文リスト
- Success or Failure? Analyzing Segmentation Refinement with Few-Shot Segmentation [9.854182420661754]
本稿では,FSSモデルを用いたセグメント化改良手法であるJSSを提案する。
JFSはSEPLの最良のケースと最悪のケースで評価され、その有効性を検証する。
論文 参考訳(メタデータ) (2024-07-05T14:04:25Z) - From Generalization to Precision: Exploring SAM for Tool Segmentation in
Surgical Environments [7.01085327371458]
セグメンテーションモデルでは, 汚損レベルの高い画像が大幅に過大評価され, 性能が低下する。
我々は,最高の単一マスクを予測として選択した場合のSAMの結果を分析するために,接地型ツールマスクを用いている。
本研究では,様々な強みの合成汚損データを用いて,Endovis18とEndovis17の計器セグメンテーションデータセットを解析した。
論文 参考訳(メタデータ) (2024-02-28T01:33:49Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳(メタデータ) (2023-06-30T09:33:41Z) - How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。
しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。
本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
論文 参考訳(メタデータ) (2023-06-23T18:34:30Z) - Segment Anything in High Quality [116.39405160133315]
そこで本研究では,SAM のプロンプト可能な設計,効率,ゼロショットの一般化性を維持しつつ,任意のオブジェクトを正確にセグメント化できる HQ-SAM を提案する。
注意深い設計はSAMの事前訓練されたモデルの重みを再利用し、保存し、最小限の追加パラメータと計算しか導入しない。
ダウンストリームタスクにまたがる10種類のセグメンテーションデータセットでHQ-SAMの有効性を示し,そのうち8つをゼロショット転送プロトコルで評価した。
論文 参考訳(メタデータ) (2023-06-02T14:23:59Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳(メタデータ) (2023-05-04T17:59:36Z) - Improving Sharpness-Aware Minimization with Fisher Mask for Better
Generalization on Language Models [93.85178920914721]
限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。
本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。
FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
論文 参考訳(メタデータ) (2022-10-11T14:53:58Z) - HMFS: Hybrid Masking for Few-Shot Segmentation [27.49000348046462]
我々は特徴マスキング(FM)を強化するためのシンプルで効果的で効率的なアプローチを開発した。
本研究では,FM法における微細な空間的詳細の損失を補足する基本入力マスキング手法の検証と活用により補足する。
3つの公開ベンチマークの実験結果から、HMFSは現在の最先端手法よりも目に見えるマージンで優れていることが明らかになった。
論文 参考訳(メタデータ) (2022-03-24T03:07:20Z) - Improving Self-supervised Pre-training via a Fully-Explored Masked
Language Model [57.77981008219654]
Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。
そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
論文 参考訳(メタデータ) (2020-10-12T21:28:14Z) - SipMask: Spatial Information Preservation for Fast Image and Video
Instance Segmentation [149.242230059447]
SipMaskと呼ばれる高速な単一ステージインスタンス分割法を提案する。
検出されたバウンディングボックスの異なるサブリージョンにインスタンスのマスク予測を分離することで、インスタンス固有の空間情報を保存する。
リアルタイム機能の面では、SipMaskはYOLACTを、同様の設定で3.0%(マスクAP)という絶対的なゲインで上回ります。
論文 参考訳(メタデータ) (2020-07-29T12:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。