論文の概要: Unsupervised Universal Image Segmentation
- arxiv url: http://arxiv.org/abs/2312.17243v1
- Date: Thu, 28 Dec 2023 18:59:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 14:34:10.002071
- Title: Unsupervised Universal Image Segmentation
- Title(参考訳): 教師なしユニバーサルイメージセグメンテーション
- Authors: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor
Darrell
- Abstract要約: 本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
- 参考スコア(独自算出の注目度): 59.0383635597103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several unsupervised image segmentation approaches have been proposed which
eliminate the need for dense manually-annotated segmentation masks; current
models separately handle either semantic segmentation (e.g., STEGO) or
class-agnostic instance segmentation (e.g., CutLER), but not both (i.e.,
panoptic segmentation). We propose an Unsupervised Universal Segmentation model
(U2Seg) adept at performing various image segmentation tasks -- instance,
semantic and panoptic -- using a novel unified framework. U2Seg generates
pseudo semantic labels for these segmentation tasks via leveraging
self-supervised models followed by clustering; each cluster represents
different semantic and/or instance membership of pixels. We then self-train the
model on these pseudo semantic labels, yielding substantial performance gains
over specialized methods tailored to each task: a +2.6 AP$^{\text{box}}$ boost
vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc
increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff.
Moreover, our method sets up a new baseline for unsupervised panoptic
segmentation, which has not been previously explored. U2Seg is also a strong
pretrained model for few-shot segmentation, surpassing CutLER by +5.0
AP$^{\text{mask}}$ when trained on a low-data regime, e.g., only 1% COCO
labels. We hope our simple yet effective method can inspire more research on
unsupervised universal image segmentation.
- Abstract(参考訳): 現在のモデルは、セマンティックセグメンテーション(例えば、stego)とクラスに依存しないインスタンスセグメンテーション(例えば、cutler)の両方を別々に扱うが、両方ではない(すなわち、panopticセグメンテーション)。
我々は,新しい統一フレームワークを用いて,様々な画像分割タスクを行うための教師なしユニバーサルセグメンテーションモデル(u2seg)を提案する。
u2segは、各クラスタがピクセルの異なる意味的および/またはインスタンス的メンバシップを表す、自己教師付きモデルを使用して、これらのセグメンテーションタスクのための擬似意味ラベルを生成する。
次に、これらの擬似セマンティックラベルのモデルを自己学習し、各タスクに適合する特殊なメソッドに対して、実質的なパフォーマンス向上をもたらす: a +2.6 AP$^{\text{box}}$ boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff。
さらに,本手法は従来検討されていない非教師なしパノプティカルセグメンテーションのための新しいベースラインを設定する。
U2Segはまた、小ショットセグメンテーションのための強力な事前訓練されたモデルであり、低データのレギュレーション、例えば1%のCOCOラベルでトレーニングされた場合、+5.0 AP$^{\text{mask}}$を超える。
我々の単純で効果的な方法が、教師なしの普遍的なイメージセグメンテーションのさらなる研究を促すことを願っている。
関連論文リスト
- A Lightweight Clustering Framework for Unsupervised Semantic
Segmentation [28.907274978550493]
教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。
教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。
本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2023-11-30T15:33:42Z) - Synthetic Instance Segmentation from Semantic Image Segmentation Masks [37.54211062233899]
合成インスタンスセグメンテーション(SISeg)と呼ばれる新しいパラダイムを提案する。
SISegはセマンティックやインスタンスセグメンテーションモデルをトレーニングする必要はなく、インスタンスレベルのイメージアノテーションを必要としない。
最先端の完全教師付きインスタンスセグメンテーション手法と比較して、競合的な結果が得られる。
論文 参考訳(メタデータ) (2023-08-02T05:13:02Z) - Unsupervised Hierarchical Semantic Segmentation with Multiview
Cosegmentation and Clustering Transformers [47.45830503277631]
グループ化は自然に粒度のレベルを持ち、教師なしのセグメンテーションにおいて曖昧さを生み出す。
階層的セグメンテーショングループ(HSG)と呼ばれる,データ駆動型非教師付き階層的セグメンテーション手法を初めて提供する。
論文 参考訳(メタデータ) (2022-04-25T04:40:46Z) - Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation
GAN [27.936725483892076]
本稿では,画像翻訳とインスタンスセグメンテーションを共同で行うCysic Generative Adrial Network(CySGAN)を提案する。
注記電子顕微鏡(en:Annotated electron microscopy, EM)画像とラベルなし拡張顕微鏡(en:Unlabeled expansion microscopy, ExM)データを用いて, ニューロンの3次元セグメンテーションの課題についてベンチマークを行った。
論文 参考訳(メタデータ) (2022-04-06T20:46:39Z) - Open-World Entity Segmentation [70.41548013910402]
我々は、意味圏ラベルを考慮せずに、画像内のすべての視覚的エンティティをセグメント化することを目的として、Entity(ES)と呼ばれる新しいイメージセグメンテーションタスクを導入する。
意味的に意味のある全てのセグメントは、等しく分類なしのエンティティとして扱われる。
1) 複数のデータセットをマージしてラベルの衝突を解決することなく大規模なトレーニングセットを形成すること、2) 1つのデータセットでトレーニングされたモデルが、目に見えないドメインを持つ他のデータセットに対して、例外的にうまく一般化することができること、である。
論文 参考訳(メタデータ) (2021-07-29T17:59:05Z) - SOLO: A Simple Framework for Instance Segmentation [84.00519148562606]
インスタンスカテゴリ"は、インスタンスの場所に応じて、インスタンス内の各ピクセルにカテゴリを割り当てる。
SOLO"は、強力なパフォーマンスを備えたインスタンスセグメンテーションのための、シンプルで、直接的で、高速なフレームワークです。
提案手法は, 高速化と精度の両面から, 実例分割の最先端結果を実現する。
論文 参考訳(メタデータ) (2021-06-30T09:56:54Z) - Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。
最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。
これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
論文 参考訳(メタデータ) (2021-05-12T13:01:44Z) - A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。
事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。
本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
論文 参考訳(メタデータ) (2021-04-21T14:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。