論文の概要: Diffuse2Seg: Diffusion Models Can Segment Anything Without Supervision
- arxiv url: http://arxiv.org/abs/2609.06491v1
- Date: Sun, 06 Sep 2026 09:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:30:01.053875
- Title: Diffuse2Seg: Diffusion Models Can Segment Anything Without Supervision
- Title（参考訳）: Diffuse2Seg: 拡散モデルはスーパービジョンなしで何でもセグメンテーションできる
- Abstract要約: テキストから画像への拡散モデルは、リトレーニングや監督なしに、オープンワールドのエンティティセグメンテーションに活用することができる。
Diffuse2Segは、マルチグラニュラーなインスタンスマスクを生成し、最先端のラベルジェネレータよりも優れている。
これらの生成マスク上でのインスタンスセグメンテーションモデルのトレーニングは、"things"と"stuff+things"では、ディテクターフリーのオープンワールドセグメンテーションを7.4と7.7で、AR_1000では"stuff+things"では、ディテクターベースのUnSAMを2.1で上回る。
- 参考スコア（独自算出の注目度）: 3.836588693383881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-world entity segmentation aims to predict masks for arbitrary objects across domains and at multiple granularities, from parts to whole objects. In this setting, SAM sets a strong standard: trained on SA-1B, comprising 11M images and over 1B carefully annotated masks, it achieves remarkable zero-shot performance. Collecting such labels is expensive and time-consuming, however, which limits how far this recipe can scale. Text-to-image diffusion models offer a way around this. Their intermediate features transfer well across perception tasks, and since object structure emerges as the model denoises a noise sample into an image conditioned on a text prompt, that structure is already encoded in these representations. They can therefore be exploited for open-world entity segmentation without retraining or supervision. Building on this observation, we introduce Diffuse2Seg, which repurposes generative diffusion models for automatic mask generation by propagating a grid of point prompts through their self-attention representations in an edge-preserving manner. Diffuse2Seg produces multi-granular instance masks and outperforms prior state-of-the-art label generators by 4.3-7.1 p.p. in AR_1000 across five domains. Training an instance segmentation model on these generated masks advances detector-free open-world segmentation by 7.4 and 7.7 p.p. on "things" and "stuff+things" datasets and surpasses the detector-based UnSAM on "stuff+things" by 2.1 p.p. in AR_1000. Finally, we show that a model trained on Diffuse2Seg labels provides a strong initialization for semi-supervised learning, outperforming its fully supervised counterpart with already 5k labeled images.
- Abstract（参考訳）: オープンワールドエンティティセグメンテーションは、ドメイン全体および複数の粒度の任意のオブジェクトに対するマスクを、部品からオブジェクト全体まで予測することを目的としている。
この設定では、SAMは強力な標準を設定し、SA-1Bで訓練され、1Mの画像と1B以上の注意深い注釈付きマスクから構成される。
しかし、このようなラベルの収集は高価で時間を要するため、このレシピがどれだけスケールできるかは制限される。
テキストから画像への拡散モデルは、この回避方法を提供します。
オブジェクト構造は、モデルがノイズサンプルをテキストプロンプトで条件付けされた画像に分解するので、既にこれらの表現にコード化されている。
したがって、それらは再訓練や監督なしに、オープンワールドのエンティティセグメンテーションに利用することができる。
この観測に基づいてDiffuse2Segを導入し、エッジ保存方式でポイントプロンプトのグリッドを伝播させることにより、自動マスク生成のための生成拡散モデルを再利用する。
Diffuse2Segは5つのドメインにわたるAR_1000において、マルチグラニュラーのインスタンスマスクを生成し、最先端のラベルジェネレータを4.3-7.1 p.p.で上回っている。
これらの生成マスク上のインスタンスセグメンテーションモデルのトレーニングは、"things"データセットと"stuff+things"データセットで、ディテクターフリーのオープンワールドセグメンテーションを7.4と7.7で、AR_1000では2.1で、ディテクターベースのUnSAMを上回る。
最後に、Diffuse2Segラベルでトレーニングされたモデルが、半教師付き学習の強力な初期化を提供し、既に5kラベル付き画像で完全に教師付きされたモデルよりも優れていることを示す。
関連論文リスト
- SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization [64.6372217552272]
公開編集データセットには、IMLトレーニングサンプルと構造的に同一(オリジナル、編集)のペアが数百万個含まれており、ピクセルレベルのマスクのみが欠如している。
本稿では,視覚基盤のバックボーンにおいて意味・特徴の相違を行うSIGMAを提案する。
1.1M IMLトレーニングセットを生成し、5つのデータセットに対して+18.34%のF1で6つの多様な検出器を改善する。
論文 参考訳（メタデータ） (2026-05-27T03:55:13Z) - Excite, Attend and Segment (EASe): Domain-Agnostic Fine-Grained Mask Discovery with Feature Calibration and Self-Supervised Upsampling [0.0]
Excite, Attend and Segment (EASe)は、教師なしドメインに依存しないセマンティックセグメンテーションフレームワークである。
本評価は,従来の最先端技術よりもEASeの優れた性能を示すものである。
論文 参考訳（メタデータ） (2026-03-31T22:03:15Z) - MagicSeg: Open-World Segmentation Pretraining via Counterfactural Diffusion-Based Auto-Generation [89.19760796832765]
MagicSeg"は、オープンワールドセマンティックセグメンテーションのニーズに合わせて自動的にデータセットを生成するパイプラインである。
PASCAL VOC, PASCAL Context, COCOを用いて, 62.9%, 26.7%, 40.2%の性能でSOTAを達成した。
論文 参考訳（メタデータ） (2026-03-20T02:37:38Z) - Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。
本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。
我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
論文 参考訳（メタデータ） (2025-12-01T15:15:16Z) - LlamaSeg: Image Segmentation via Autoregressive Mask Generation [46.17509085054758]
LlamaSegは視覚的自己回帰フレームワークで、自然言語による複数の画像分割タスクを統一する。
マスクを「視覚的」トークンとして表現し、LLaMA方式のトランスフォーマーを用いて画像入力から直接予測することで、画像分割を視覚生成問題として再構成する。
論文 参考訳（メタデータ） (2025-05-26T02:22:41Z) - E-SAM: Training-Free Segment Every Entity Model [22.29478489117426]
特有なES能力を示す新しいトレーニングフリーフレームワークであるE-SAMを紹介する。
E-SAMは、以前のESメソッドと比較して最先端のパフォーマンスを実現し、ベンチマークメトリクスで+30.1で大幅に改善されている。
論文 参考訳（メタデータ） (2025-03-15T11:41:33Z) - PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-14T17:55:03Z) - Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。
未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。
ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
論文 参考訳（メタデータ） (2024-02-14T06:01:44Z) - Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation [16.863038973001483]
本研究は拡散合成セマンティックセマンティックセグメンテーショントレーニングの3つの手法を紹介する。
第一に、信頼性に配慮した堅牢なトレーニングは、もともと弱い教師付き学習で用いられ、合成マスクの品質が不十分なセグメンテーションに役立つ。
第2に、画像Net-1kクラスの画像にバックボーンだけでなく、全体セグメンテーションモデルの大規模事前トレーニングを行うことで、下流のセグメンテーションタスクにメリットがある。
第3に,テキストリソースの制限により,トレーニング画像のスケールアップと多様化を図るために,プロンプトテキストセットにプロンプト拡張,データ拡張を導入する。
論文 参考訳（メタデータ） (2023-09-04T05:34:19Z) - Scaling up instance annotation via label propagation [69.8001043244044]
本稿では,オブジェクトセグメンテーションマスクを用いた大規模データセット構築のための高効率アノテーション手法を提案する。
セグメンテーションモデルによるマスク予測に階層的クラスタリングを用いることにより,これらの類似性を生かした。
総アノテーション時間はたった290時間である100万個のオブジェクトセグメンテーションマスクが得られた。
論文 参考訳（メタデータ） (2021-10-05T18:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。