論文の概要: Generalized Category Discovery in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2311.11525v1
• Date: Mon, 20 Nov 2023 04:11:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 19:51:35.999440
• Title: Generalized Category Discovery in Semantic Segmentation
• Title（参考訳）: セマンティックセグメンテーションにおける一般カテゴリー発見
• Authors: Zhengyuan Peng, Qijian Tian, Jianqing Xu, Yizhang Jin, Xuequan Lu, Xin Tan, Yuan Xie, Lizhuang Ma
• Abstract要約: 本稿では,セマンティックにおける一般化カテゴリー発見 (Generalized Category Discovery in Semantic, GCDSS) という新しい設定について検討する。 GCDSSは、ラベル付きベースクラスのセットから事前の知識に基づいてラベル付きイメージをセグメントすることを目的としている。 セマンティックにおける新規カテゴリー発見(NCDSS)とは対照的に、各未ラベル画像に少なくとも1つの新しいクラスが存在するという前提条件はない。
• 参考スコア（独自算出の注目度）: 43.99230778597973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores a novel setting called Generalized Category Discovery in Semantic Segmentation (GCDSS), aiming to segment unlabeled images given prior knowledge from a labeled set of base classes. The unlabeled images contain pixels of the base class or novel class. In contrast to Novel Category Discovery in Semantic Segmentation (NCDSS), there is no prerequisite for prior knowledge mandating the existence of at least one novel class in each unlabeled image. Besides, we broaden the segmentation scope beyond foreground objects to include the entire image. Existing NCDSS methods rely on the aforementioned priors, making them challenging to truly apply in real-world situations. We propose a straightforward yet effective framework that reinterprets the GCDSS challenge as a task of mask classification. Additionally, we construct a baseline method and introduce the Neighborhood Relations-Guided Mask Clustering Algorithm (NeRG-MaskCA) for mask categorization to address the fragmentation in semantic representation. A benchmark dataset, Cityscapes-GCD, derived from the Cityscapes dataset, is established to evaluate the GCDSS framework. Our method demonstrates the feasibility of the GCDSS problem and the potential for discovering and segmenting novel object classes in unlabeled images. We employ the generated pseudo-labels from our approach as ground truth to supervise the training of other models, thereby enabling them with the ability to segment novel classes. It paves the way for further research in generalized category discovery, broadening the horizons of semantic segmentation and its applications. For details, please visit https://github.com/JethroPeng/GCDSS
• Abstract（参考訳）: 本稿では,セマンティックセグメンテーションにおける一般化カテゴリー発見 (Generalized Category Discovery in Semantic Segmentation, GCDSS) と呼ばれる,ラベル付き基底クラスの集合から事前知識を与えられたラベル付き画像のセグメンテーションを目的とした,新しいセグメンテーションについて検討する。 ラベルなし画像は、ベースクラスまたは新規クラスの画素を含む。 セマンティックセグメンテーションにおける新規カテゴリー発見(NCDSS)とは対照的に、ラベルのない画像に少なくとも1つの新しいクラスが存在するという前提条件はない。 さらに、画像全体を含むために、前景オブジェクトを超えてセグメンテーション範囲を広げる。 既存のNCDSS手法は前述の先行技術に依存しており、現実の状況において真に適用することは困難である。 本稿では,GCDSS課題をマスク分類の課題として再解釈する,単純かつ効果的なフレームワークを提案する。 さらに,マスク分類のためのベースライン手法を構築し,NeRG-MaskCA(Neighborhood Relations-Guided Mask Clustering Algorithm)を導入し,意味表現の断片化に対処する。 Cityscapesデータセットから派生したベンチマークデータセットであるCityscapes-GCDを確立し、GCDSSフレームワークを評価する。 本手法は,GCDSS問題の有効性と,未ラベル画像における新規なオブジェクトクラスの検出とセグメンテーションの可能性を示す。 我々のアプローチから生成された擬似ラベルを基底真理として活用し、他のモデルのトレーニングを監督し、新しいクラスをセグメント化できるようにする。 一般のカテゴリー発見におけるさらなる研究の道を開き、意味セグメンテーションとその応用の地平を広げる。 詳細はhttps://github.com/JethroPeng/GCDSSを参照してください。

関連論文リスト

• Vocabulary-free Image Classification and Semantic Segmentation [71.78089106671581]
  本稿では,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語による意味空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 本稿では,事前学習された視覚言語モデルと外部データベースを利用した学習自由度手法CaSEDを提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:27:21Z)
• Active Generalized Category Discovery [60.69060965936214]
  GCD(Generalized Category Discovery)は、新しいクラスと古いクラスの未ラベルのサンプルをクラスタ化するための取り組みである。 我々は,能動的学習の精神を取り入れて,能動的一般化カテゴリー発見(AGCD)という新たな設定を提案する。 提案手法は, 汎用および微粒なデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-07T07:12:24Z)
• Unsupervised Universal Image Segmentation [59.0383635597103]
  本稿では,Unsupervised Universal Model (U2Seg) を提案する。 U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。 次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-12-28T18:59:04Z)
• Learning Semi-supervised Gaussian Mixture Models for Generalized Category Discovery [36.01459228175808]
  本稿では,表現学習とクラス数推定を交互に行うEMライクなフレームワークを提案する。 汎用画像分類データセットと細粒度オブジェクト認識データセットの双方について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-05-10T13:47:38Z)
• Weak-shot Semantic Segmentation via Dual Similarity Transfer [33.18870478560099]
  MaskFormer上で2つの類似性転送を行うSimFormerを提案する。 提案セグメンテーションにより、プロポーザルピクセルの類似性をベースクラスから新しいクラスに転送できる。 また,基本クラスからピクセル・ピクセル類似性を学習し,新しいクラスのセマンティックマスクとそのようなクラスに依存しないセマンティック類似性を蒸留する。
  論文  参考訳（メタデータ） (2022-10-05T13:54:34Z)
• Segmenting Known Objects and Unseen Unknowns without Prior Knowledge [86.46204148650328]
  全体論的セグメンテーションは、目に見えない未知のカテゴリのオブジェクトを、それに関する事前の知識なしにインスタンスに識別し、分離することを目的としている。 U3HSでは、未知の領域を極めて不確実な領域として見つけ、対応するインスタンス認識の埋め込みを個々のオブジェクトにクラスタ化する。 MS、Cityscapes、Lost&Foundの公開データに関する実験は、U3HSの有効性を実証している。
  論文  参考訳（メタデータ） (2022-09-12T16:59:36Z)
• GOSS: Towards Generalized Open-set Semantic Segmentation [38.00665104750745]
  我々は、GOSS(Generalized Open-set Semantic)と呼ばれる新しいイメージセグメンテーションタスクを提示し、研究する。 GOSSは既知のクラスに属するピクセルを分類し、未知クラスのピクセルのクラスタ(またはグループ)をラベル付けする。 我々の新しいGOSSタスクは、将来の研究に表現力のあるイメージ理解をもたらすことができると信じている。
  論文  参考訳（メタデータ） (2022-03-23T01:03:06Z)
• Semantic Segmentation In-the-Wild Without Seeing Any Segmentation Examples [34.97652735163338]
  本稿では,各オブジェクトに対するセマンティックセグメンテーションマスク作成のための新しいアプローチを提案する。 本手法は,画像に含まれるクラスカテゴリのイメージレベルラベルを入力として扱う。 このステージの出力は、教師付きメソッドが必要とする手動のピクセルレベルラベルの代わりに、ピクセルレベルの擬似ラベルを提供する。
  論文  参考訳（メタデータ） (2021-12-06T17:32:38Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。