論文の概要: Novel Class Discovery in Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2112.01900v1
• Date: Fri, 3 Dec 2021 13:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 15:51:26.248785
• Title: Novel Class Discovery in Semantic Segmentation
• Title（参考訳）: 意味セグメンテーションにおける新しいクラス発見
• Authors: Yuyang Zhao, Zhun Zhong, Nicu Sebe, Gim Hee Lee
• Abstract要約: セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
• 参考スコア（独自算出の注目度）: 104.30729847367104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new setting of Novel Class Discovery in Semantic Segmentation (NCDSS), which aims at segmenting unlabeled images containing new classes given prior knowledge from a labeled set of disjoint classes. In contrast to existing approaches that look at novel class discovery in image classification, we focus on the more challenging semantic segmentation. In NCDSS, we need to distinguish the objects and background, and to handle the existence of multiple classes within an image, which increases the difficulty in using the unlabeled data. To tackle this new setting, we leverage the labeled base data and a saliency model to coarsely cluster novel classes for model training in our basic framework. Additionally, we propose the Entropy-based Uncertainty Modeling and Self-training (EUMS) framework to overcome noisy pseudo-labels, further improving the model performance on the novel classes. Our EUMS utilizes an entropy ranking technique and a dynamic reassignment to distill clean labels, thereby making full use of the noisy data via self-supervised learning. We build the NCDSS benchmark on the PASCAL-5$^i$ dataset. Extensive experiments demonstrate the feasibility of the basic framework (achieving an average mIoU of 49.81%) and the effectiveness of EUMS framework (outperforming the basic framework by 9.28% mIoU).
• Abstract（参考訳）: ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付き画像のセグメンテーションを目的として, セマンティックセグメンテーションにおける新規クラス発見(NCDSS)を導入した。 画像分類における新しいクラス発見を考察する既存のアプローチとは対照的に,より困難な意味セグメンテーションに注目している。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を扱う必要がある。 この新たな設定に対処するために、ラベル付きベースデータとサリエンシモデルを用いて、基本フレームワークにおけるモデルトレーニングのための新しいクラスを粗くクラスタ化する。 さらに、ノイズの多い擬似ラベルを克服するエントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し、新しいクラスにおけるモデル性能をさらに向上させる。 eumはエントロピーランキング技術と動的再割り当てを用いてクリーンラベルを蒸留し,自己教師付き学習によりノイズデータを完全に活用する。 NCDSSベンチマークをPASCAL-5$^i$データセット上に構築する。 大規模な実験では、基本フレームワーク(平均mIoU49.81%を達成する)とEUMSフレームワーク(基本フレームワークを9.28%向上させる)の有効性が示されている。

関連論文リスト

• UIFormer: A Unified Transformer-based Framework for Incremental Few-Shot Object Detection and Instance Segmentation [38.331860053615955]
  本稿では,Transformerアーキテクチャを用いたインクリメンタルな小ショットオブジェクト検出(iFSOD)とインスタンスセグメンテーション(iFSIS)のための新しいフレームワークを提案する。 私たちのゴールは、新しいオブジェクトクラスのいくつかの例しか利用できない状況に対して最適なソリューションを作ることです。
  論文  参考訳（メタデータ） (2024-11-13T12:29:44Z)
• RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation [28.02204928717511]
  本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。 クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:14:21Z)
• Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
  Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。 ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。 本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T14:04:39Z)
• Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation [12.362400851574872]
  セマンティックセグメンテーション(WILSS)のための弱い漸進的な学習は、新しく魅力的なタスクである。 本稿では,WILSS のための新しいデータ効率フレームワーク FMWISS を提案する。
  論文  参考訳（メタデータ） (2023-02-28T02:21:42Z)
• Class-incremental Novel Class Discovery [76.35226130521758]
  クラス増進型新規クラス発見(class-iNCD)の課題について検討する。 基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。 3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-07-18T13:49:27Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Incremental Learning in Semantic Segmentation from Image Labels [18.404068463921426]
  既存のセマンティックセグメンテーションアプローチは印象的な結果を得るが、新しいカテゴリが発見されるにつれてモデルを漸進的に更新することは困難である。 本稿では、安価で広く利用可能な画像レベルのラベルから新しいクラスを分類することを目的とした、Weakly Incremental Learning for Semanticsのための新しいフレームワークを提案する。 擬似ラベルをオフラインで生成する既存のアプローチとは対照的に、画像レベルのラベルで訓練され、セグメンテーションモデルで正規化される補助分類器を使用して、擬似スーパービジョンをオンラインで取得し、モデルを漸進的に更新する。
  論文  参考訳（メタデータ） (2021-12-03T12:47:12Z)
• Open-World Semi-Supervised Learning [66.90703597468377]
  本稿では,従来のクラスを認識するためにモデルを必要とする,新しいオープンワールド半教師付き学習環境を提案する。 データの分類とクラスタ化を同時に行うアプローチであるORCAを提案する。 我々は,ORCAが新しいクラスを正確に発見し,ベンチマーク画像分類データセット上で以前に見られたクラスにサンプルを割り当てることを示した。
  論文  参考訳（メタデータ） (2021-02-06T07:11:07Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。