論文の概要: PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2409.13401v1
- Date: Fri, 20 Sep 2024 11:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 07:28:56.388310
- Title: PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images
- Title（参考訳）: PointSAM:リモートセンシング画像のためのポイントアップセグメンテーションモデル
- Authors: Nanqing Liu, Xun Xu, Yongyi Su, Haojie Zhang, Heng-Chao Li,
- Abstract要約: 本稿では,PointSAM という新しいセグメンテーションモデルを提案する。
我々は, WHU, HRSID, NWPU VHR-10を含むRSIデータセットの実験を行った。
その結果,本手法はSAM,SAM2,その他の比較法で直接試験よりも優れていた。
- 参考スコア（独自算出の注目度）: 16.662173255725463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Segment Anything Model (SAM) is an advanced foundational model for image segmentation, widely applied to remote sensing images (RSIs). Due to the domain gap between RSIs and natural images, traditional methods typically use SAM as a source pre-trained model and fine-tune it with fully supervised masks. Unlike these methods, our work focuses on fine-tuning SAM using more convenient and challenging point annotations. Leveraging SAM's zero-shot capabilities, we adopt a self-training framework that iteratively generates pseudo-labels for training. However, if the pseudo-labels contain noisy labels, there is a risk of error accumulation. To address this issue, we extract target prototypes from the target dataset and use the Hungarian algorithm to match them with prediction prototypes, preventing the model from learning in the wrong direction. Additionally, due to the complex backgrounds and dense distribution of objects in RSI, using point prompts may result in multiple objects being recognized as one. To solve this problem, we propose a negative prompt calibration method based on the non-overlapping nature of instance masks. In brief, we use the prompts of overlapping masks as corresponding negative signals, resulting in refined masks. Combining the above methods, we propose a novel Pointly-supervised Segment Anything Model named PointSAM. We conduct experiments on RSI datasets, including WHU, HRSID, and NWPU VHR-10, and the results show that our method significantly outperforms direct testing with SAM, SAM2, and other comparison methods. Furthermore, we introduce PointSAM as a point-to-box converter and achieve encouraging results, suggesting that this method can be extended to other point-supervised tasks. The code is available at https://github.com/Lans1ng/PointSAM.
- Abstract（参考訳）: Segment Anything Model (SAM)は画像分割のための高度な基礎モデルであり、リモートセンシング画像(RSI)に広く応用されている。
RSIと自然画像のドメインギャップのため、従来の方法では、ソーストレーニング済みのモデルとしてSAMを使用し、完全に教師付きマスクで微調整する。
これらの手法とは異なり、我々の研究はより便利で挑戦的なポイントアノテーションを使ってSAMを微調整することに焦点を当てている。
SAMのゼロショット機能を活用して、トレーニング用に擬似ラベルを反復的に生成する自己学習フレームワークを採用する。
しかし、擬似ラベルがノイズラベルを含む場合、エラーの蓄積のリスクがある。
この問題に対処するため、ターゲットデータセットからターゲットプロトタイプを抽出し、ハンガリーのアルゴリズムを用いて予測プロトタイプとマッチングし、モデルが間違った方向に学習するのを防ぐ。
さらに、複雑な背景とRSI内のオブジェクトの密分布のため、ポイントプロンプトを使用すると、複数のオブジェクトが1つとして認識される。
この問題を解決するために,インスタンスマスクの非重複性に基づく負のプロンプトキャリブレーション手法を提案する。
簡単に言えば、重なり合うマスクのプロンプトを対応する負の信号として使い、洗練されたマスクを生み出す。
本稿では,これらの手法を組み合わせることで,ポイントSAMという新しいセグメンテーションモデルを提案する。
我々は, WHU, HRSID, NWPU VHR-10を含むRSIデータセットを用いて実験を行い, SAM, SAM2, および他の比較手法による直接試験よりも優れた結果を得た。
さらに,PointSAMをポイント・ツー・ボックス・コンバータとして導入し,提案手法を他のポイント・教師付きタスクに拡張できることを示す。
コードはhttps://github.com/Lans1ng/PointSAMで公開されている。
関連論文リスト
- Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。
最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。
本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-10-09T15:02:28Z) - Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。
UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。
UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文 参考訳（メタデータ） (2024-09-23T19:05:50Z) - One Shot is Enough for Sequential Infrared Small Target Segmentation [9.354927663020586]
赤外線小ターゲットシーケンスはフレーム間に強い類似性を示し、リッチなコンテキスト情報を含む。
本稿では,SAMのゼロショット一般化能力を逐次IRSTSに完全に適応させるワンショット・トレーニングフリーな手法を提案する。
実験の結果,現状のIRSTS法に匹敵する性能を達成するためには,本手法では1ショットしか必要としないことがわかった。
論文 参考訳（メタデータ） (2024-08-09T02:36:56Z) - AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。
オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文 参考訳（メタデータ） (2024-06-01T16:21:39Z) - WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。
トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。
本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
論文 参考訳（メタデータ） (2024-03-14T10:30:43Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳（メタデータ） (2023-11-27T12:51:42Z) - SAM-Deblur: Let Segment Anything Boost Image Deblurring [21.964258084389243]
本稿では,Segment Anything Model (SAM) からの事前知識をデブロア処理に組み込んだ SAM-Deblur フレームワークを提案する。
RealBlurJ、ReloBlur、REDSデータセットの実験結果から、GoProでトレーニングしたNAFNetのPSNRをそれぞれ0.05、0.96、および7.03に改善したことが明らかとなった。
論文 参考訳（メタデータ） (2023-09-05T14:33:56Z) - Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based
Ensemble for Segment Anything Model Estimation [0.0]
本稿では,最近提案されたSegment Anything Model(SAM)に基づく,SCESAMEを用いたゼロショットエッジ検出手法を提案する。
AMGはエッジ検出に適用できるが、エッジの過剰検出の問題に悩まされる。
我々はBSDS500とNYUDv2の2つのデータセットでエッジ検出実験を行った。
論文 参考訳（メタデータ） (2023-08-26T06:19:59Z) - RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation
based on Visual Foundation Model [29.42043345787285]
本稿では,Segment Anything Model (SAM) のための適切なプロンプトの生成を学習する手法を提案する。
これによりSAMはリモートセンシング画像に対して意味的に識別可能なセグメンテーション結果を生成することができる。
また,SAMコミュニティ内での最近の進歩を図り,その性能をRSPrompterと比較する。
論文 参考訳（メタデータ） (2023-06-28T14:51:34Z) - Personalize Segment Anything Model with One Shot [52.54453744941516]
我々は,Segment Anything Model (SAM) のためのトレーニング不要なパーソナライズ手法を提案する。
PerSAMは、参照マスクを持つ1つのイメージしか持たないため、最初にターゲットのコンセプトを以前のロケーションでローカライズする。
PerSAMは、ターゲット誘導された注意、ターゲットセマンティックなプロンプト、そしてカスケードされたポストリファインメントという3つのテクニックを通じて、他の画像やビデオにセグメントする。
論文 参考訳（メタデータ） (2023-05-04T17:59:36Z) - Weakly-Supervised Saliency Detection via Salient Object Subitizing [57.17613373230722]
我々は,クラス非依存であるため,弱い監督としてサリエンシー・サブイタライジングを導入する。
これにより、監視はサリエンシー検出の特性と整合することができます。
5つのベンチマークデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2021-01-04T12:51:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。