論文の概要: Text-to-seed generation: Training-free open-vocabulary seeded semantic segmentation via re-purposing diffusion as text-guided seed generator
- arxiv url: http://arxiv.org/abs/2608.26624v1
- Date: Thu, 27 Aug 2026 05:26:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.247757
- Title: Text-to-seed generation: Training-free open-vocabulary seeded semantic segmentation via re-purposing diffusion as text-guided seed generator
- Title(参考訳): テキスト・ツー・シード・ジェネレーション: テキスト誘導シード・ジェネレータとしての拡散による訓練不要なオープン語彙型セマンティック・セマンティック・セマンティック・セマンティック・セマンティクス
- Abstract要約: より信頼性の高いセグメンテーションは、SAMを正確なオブジェクトポイントによってガイドされる領域拡張モジュールとして活用することで達成できると我々は主張する。
古典的なシードセグメンテーションに着想を得て,OVSSをテキスト誘導型シードローカライゼーション,次いでシードベース領域拡張として再構成した。
- 参考スコア(独自算出の注目度): 15.24882207206297
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Open-vocabulary semantic segmentation (OVSS) aims to segment image regions corresponding to arbitrary text queries. Although the Segment Anything Model (SAM) is a powerful foundation model for segmentation, its standalone performance on OVSS remains limited. Existing methods therefore often use SAM to refine coarse masks predicted by other models, but this strategy is unreliable when the initial masks are inaccurate. In this work, we argue that more reliable segmentation can be achieved by exploiting SAM as a region expansion module guided by accurate object points (i.e., seeds) rather than inaccurate coarse masks. Inspired by classical seeded segmentation, we reformulate OVSS as text-guided seed localization followed by seed-based region expansion. To realize this idea, we propose Text-to-Seed (T2S), a training-free framework that leverages the text-to-region correspondence of Stable Diffusion to generate attention-based seed points for target categories described by text. These sparse seeds are then used as point prompts for SAM to produce full object masks. Without task-specific training or additional annotations, T2S achieves strong performance on standard OVSS benchmarks, demonstrating the effectiveness of combining semantic grounding with seed-driven spatial segmentation.
- Abstract(参考訳): Open-vocabulary semantic segmentation (OVSS) は任意のテキストクエリに対応する画像領域のセグメンテーションを目的としている。
Segment Anything Model (SAM) はセグメンテーションの強力な基盤モデルであるが、OVSSでのスタンドアロンのパフォーマンスは制限されている。
したがって、既存の手法ではSAMを用いて他のモデルによって予測される粗いマスクを精査することが多いが、初期マスクが不正確な場合には、この戦略は信頼できない。
本研究では,不正確な粗いマスクではなく,正確な対象点(種)によって導かれる領域拡張モジュールとしてSAMを活用することにより,より信頼性の高いセグメンテーションを実現することができると論じる。
古典的なシードセグメンテーションに着想を得て,OVSSをテキスト誘導型シードローカライゼーション,次いでシードベース領域拡張として再構成した。
このアイデアを実現するために,テキスト記述対象カテゴリに対して注意に基づくシードポイントを生成するために,安定拡散のテキスト-地域対応を利用するトレーニングフリーフレームワークであるText-to-Seed(T2S)を提案する。
これらのスパースシードは、SAMが完全なオブジェクトマスクを生成するためのポイントプロンプトとして使用される。
タスク固有のトレーニングや追加アノテーションがなければ、T2Sは標準のOVSSベンチマークで強力なパフォーマンスを達成し、セマンティックグラウンドとシード駆動空間セグメンテーションを組み合わせる効果を実証する。
関連論文リスト
- EOVSAM: Efficient Open-Vocabulary Segmentation with SAM 3 in One Pass [79.69317943751223]
SAM 3 (EOVSAM) を用いた効率的な開語彙セグメンテーションフレームワークを提案する。
EOVSAMはSAM 3をシングルパス予測に適応させる。
評価されたすべてのデータセットにおいて、バニラSAM 3よりもセグメンテーション精度が一貫して向上する。
論文 参考訳(メタデータ) (2026-08-03T14:15:37Z) - CLIP-Guided SAM: Parameter-Efficient Semantic Conditioning for Promptable Segmentation [6.517222960194991]
内部的セマンティック・コンディショニングに基づくパラメータ効率のセグメンテーションフレームワークであるCLIP-Guided SAMを提案する。
セマンティック信号のみを使用してプロンプトを生成する代わりに、CLIP由来のテキスト、ビジョン、および類似機能をSAMの画像エンコーダに直接注入する。
我々のフレームワークは低ラベルデータ設定用に設計されており、汎用ベンチマークと特化下流タスクの両方に適用できる。
論文 参考訳(メタデータ) (2026-05-24T01:40:30Z) - Semantic-Fast-SAM: Efficient Semantic Segmenter [0.6816905600359814]
本稿では,高速セグメンテーションモデルとセマンティックラベリングパイプラインを組み合わせたセマンティックセグメンテーションフレームワークを提案する。
FastSAMは、CNNベースのSegment Anything Model(SAM)の効率的な再実装である。
SFSはSAMベースの手法の計算コストとメモリフットプリントのごく一部で高品質なセマンティックセグメンテーションマップを生成する。
論文 参考訳(メタデータ) (2026-04-22T04:18:39Z) - Do Instance Priors Help Weakly Supervised Semantic Segmentation? [82.75875820720616]
SeSAMは、セグメンテーションモデル(Segment Anything Model、SAM)と弱いラベルを持つフレームワークである。
SeSAMはクラスマスクを接続されたコンポーネントに分解し、オブジェクトスケルトンに沿ってサンプルポイントプロンプトを抽出し、弱いラベルカバレッジを使用してSAMマスクを選択し、擬似ラベルを使用してラベルを反復的に洗練する。
SeSAMは、半教師付き学習フレームワークと統合され、基底構造ラベル、SAMベースの擬似ラベル、高信頼の擬似ラベルのバランスをとる。
論文 参考訳(メタデータ) (2026-04-13T08:29:49Z) - Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。
本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。
我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
論文 参考訳(メタデータ) (2025-12-01T15:15:16Z) - Semantic Localization Guiding Segment Anything Model For Reference Remote Sensing Image Segmentation [12.67400143793047]
我々は,Segment Anything Model(PSLG-SAM)を導くtextitprompt生成セマンティックローカライゼーションというフレームワークを提案する。
PSLG-SAMは、参照リモートセンシングイメージ(RRSIS)タスクを粗いローカライゼーションと細かなセグメンテーションの2つのステージに分解する。
特に、第2段階は、RRSISタスクのアノテーションデータ負担を著しく低減する。
論文 参考訳(メタデータ) (2025-06-12T09:04:07Z) - Effective SAM Combination for Open-Vocabulary Semantic Segmentation [24.126307031048203]
Open-vocabulary semantic segmentationは、無制限のクラスにわたる画像にピクセルレベルのラベルを割り当てることを目的としている。
ESC-Netは、SAMデコーダブロックを利用してクラスに依存しないセグメンテーションを行う新しい1段オープン語彙セグメンテーションモデルである。
ESC-NetはADE20K、PASCAL-VOC、PASCAL-Contextなどの標準ベンチマークで優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-11-22T04:36:12Z) - SAM-CP: Marrying SAM with Composable Prompts for Versatile Segmentation [88.80792308991867]
Segment Anything Model (SAM)は、イメージピクセルをパッチにグループ化する機能を示しているが、セグメンテーションにそれを適用することは依然として大きな課題に直面している。
本稿では,SAM-CPを提案する。SAM-CPはSAM以外の2種類の構成可能なプロンプトを確立し,多目的セグメンテーションのために構成する単純な手法である。
実験により、SAM-CPはオープンドメインとクローズドドメインの両方においてセマンティック、例、およびパノプティックセグメンテーションを達成することが示された。
論文 参考訳(メタデータ) (2024-07-23T17:47:25Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [33.336549577936196]
Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。
本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。
SemPLeSは、オブジェクトリージョンとクラスラベルのセマンティックアライメントを改善することができるため、セグメンテーションモデルをトレーニングするための擬似マスクが望ましい。
論文 参考訳(メタデータ) (2024-01-22T09:41:05Z) - Foundation Model Assisted Weakly Supervised Semantic Segmentation [6.4449802036228565]
高品質なセグメンテーション種子を生成するためのCLIPとSAMに基づくフレームワークを提案する。
SAM-based seeding (SAMS) モジュールは、粗いシードマップまたは細かなシードマップを生成するために各タスクに設計および適用される。
実験により, PASCAL VOC 2012の最先端性能とMS 2014の競争結果が得られた。
論文 参考訳(メタデータ) (2023-12-06T16:21:06Z) - Associating Spatially-Consistent Grouping with Text-supervised Semantic
Segmentation [117.36746226803993]
テキスト教師付きセマンティックセグメンテーションを用いた自己教師付き空間一貫性グループ化を提案する。
部分的なグループ化結果を考えると、さらに画像レベルから領域レベルへのテキスト教師付きモデルを適用する。
59.2% mIoU と 32.4% mIoU を Pascal VOC および Pascal Context ベンチマークで達成した。
論文 参考訳(メタデータ) (2023-04-03T16:24:39Z) - Context-self contrastive pretraining for crop type semantic segmentation [39.81074867563505]
提案したContext-Self Contrastive Loss (CSCL)は、セマンティックバウンダリをポップアップさせる埋め込み空間を学習する。
衛星画像時系列(SITS)からの作物型セマンティックセマンティックセグメンテーションでは,サテライト境界における性能が重要なボトルネックとなる。
より粒度の高い作物のクラスを得るための超解像における意味的セグメンテーションのプロセスを提案する。
論文 参考訳(メタデータ) (2021-04-09T11:29:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。