論文の概要: Unsupervised Class Generation to Expand Semantic Segmentation Datasets

• arxiv url: http://arxiv.org/abs/2501.02264v1
• Date: Sat, 04 Jan 2025 11:53:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:26.579256
• Title: Unsupervised Class Generation to Expand Semantic Segmentation Datasets
• Title（参考訳）: セマンティックセグメンテーションデータセットを拡張する教師なしクラス生成
• Authors: Javier Montalvo, Álvaro García-Martín, Pablo Carballeira, Juan C. SanMiguel,
• Abstract要約: 基礎となるアルゴリズムを変更することなく、トレーニングデータに新しいサンプルを導入する。 モデルが新しいクラスをセグメンテーションする方法を効果的に学べるだけでなく、平均性能は51% IoUであり、既存のクラスに対するエラーを減らすことができることを示す。
• 参考スコア（独自算出の注目度）: 9.144948836224078
• License:
• Abstract: Semantic segmentation is a computer vision task where classification is performed at a pixel level. Due to this, the process of labeling images for semantic segmentation is time-consuming and expensive. To mitigate this cost there has been a surge in the use of synthetically generated data -- usually created using simulators or videogames -- which, in combination with domain adaptation methods, can effectively learn how to segment real data. Still, these datasets have a particular limitation: due to their closed-set nature, it is not possible to include novel classes without modifying the tool used to generate them, which is often not public. Concurrently, generative models have made remarkable progress, particularly with the introduction of diffusion models, enabling the creation of high-quality images from text prompts without additional supervision. In this work, we propose an unsupervised pipeline that leverages Stable Diffusion and Segment Anything Module to generate class examples with an associated segmentation mask, and a method to integrate generated cutouts for novel classes in semantic segmentation datasets, all with minimal user input. Our approach aims to improve the performance of unsupervised domain adaptation methods by introducing novel samples into the training data without modifications to the underlying algorithms. With our methods, we show how models can not only effectively learn how to segment novel classes, with an average performance of 51% IoU, but also reduce errors for other, already existing classes, reaching a higher performance level overall.
• Abstract（参考訳）: セマンティックセグメンテーション(Semantic segmentation)は、ピクセルレベルで分類を行うコンピュータビジョンタスクである。 このため、セマンティックセグメンテーションのための画像のラベル付けプロセスは、時間と費用がかかる。 このコストを軽減するため、シミュレーションやビデオゲームを使って生成される合成データの使用が急増しており、ドメイン適応手法と組み合わせることで、実際のデータを効果的にセグメントする方法を学ぶことができる。 クローズドセットの性質のため、それらを生成するために使用されるツールを変更することなく、新しいクラスを含めることは不可能である。 同時に、生成モデルも顕著な進歩を遂げており、特に拡散モデルの導入により、追加の監督なしにテキストプロンプトから高品質な画像を作成することができるようになった。 本研究では,Stable Diffusion and Segment Anything Module を利用した教師なしパイプラインを提案し,関連するセグメンテーションマスクを用いてクラス例を生成する。 提案手法は,基礎となるアルゴリズムを改良することなく,新しいサンプルをトレーニングデータに導入することにより,教師なし領域適応手法の性能を向上させることを目的としている。 提案手法では,モデルが新しいクラスをセグメンテーションする方法を,平均性能51%のIoUで効果的に学習するだけでなく,既存のクラスに対してエラーを低減し,全体的なパフォーマンスレベルが向上することを示す。

関連論文リスト

• UnSeg: One Universal Unlearnable Example Generator is Enough against All Image Segmentation [64.01742988773745]
  未承認のプライベートデータ上での大規模なイメージセグメンテーションモデルのトレーニングに関して、プライバシーに関する懸念が高まっている。 我々は、学習不可能な例の概念を利用して、学習不可能なノイズを原画像に生成し、付加することにより、モデルトレーニングに使用不能な画像を作成する。 6つのメインストリームイメージセグメンテーションタスク、10つの広く使われているデータセット、7つの異なるネットワークアーキテクチャでUnSegの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-13T16:34:46Z)
• Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets [51.74296438621836]
  Scribbles for Allは、スクリブルラベルに基づいて訓練されたセマンティックセグメンテーションのためのラベルおよびトレーニングデータ生成アルゴリズムである。 弱い監督の源泉としてのスクリブルの主な制限は、スクリブルセグメンテーションのための挑戦的なデータセットの欠如である。 Scribbles for Allは、いくつかの人気のあるセグメンテーションデータセットのスクリブルラベルを提供し、密集したアノテーションを持つデータセットのスクリブルラベルを自動的に生成するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-08-22T15:29:08Z)
• ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation [10.225021032417589]
  本稿では,スクリブル教師付きセマンティックセグメンテーションのための生成データ拡張手法であるScribbleGenを提案する。 セマンティックスクリブルに条件付き制御ネット拡散モデルを用いて,高品質なトレーニングデータを生成する。 我々のフレームワークは、完全に教師されたセグメンテーションを超越しても、小さなデータセットでのセグメンテーション性能を著しく改善することを示す。
  論文  参考訳（メタデータ） (2023-11-28T13:44:33Z)
• Dataset Diffusion: Diffusion-based Synthetic Dataset Generation for Pixel-Level Semantic Segmentation [6.82236459614491]
  テキストから画像への生成モデルであるStable Diffusionを用いて,ピクセルレベルのセマンティックセマンティックセマンティクスラベルを生成する手法を提案する。 テキストプロンプト,クロスアテンション,SDの自己アテンションを活用することで,クラスプロンプト付加,クラスプロンプト横断アテンション,自己アテンション指数の3つの新しい手法を導入する。 これらの手法により合成画像に対応するセグメンテーションマップを生成することができる。
  論文  参考訳（メタデータ） (2023-09-25T17:19:26Z)
• Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
  ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。 これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。 結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-02-04T07:19:09Z)
• Incremental Learning in Semantic Segmentation from Image Labels [18.404068463921426]
  既存のセマンティックセグメンテーションアプローチは印象的な結果を得るが、新しいカテゴリが発見されるにつれてモデルを漸進的に更新することは困難である。 本稿では、安価で広く利用可能な画像レベルのラベルから新しいクラスを分類することを目的とした、Weakly Incremental Learning for Semanticsのための新しいフレームワークを提案する。 擬似ラベルをオフラインで生成する既存のアプローチとは対照的に、画像レベルのラベルで訓練され、セグメンテーションモデルで正規化される補助分類器を使用して、擬似スーパービジョンをオンラインで取得し、モデルを漸進的に更新する。
  論文  参考訳（メタデータ） (2021-12-03T12:47:12Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Modeling the Background for Incremental Learning in Semantic Segmentation [39.025848280224785]
  深いアーキテクチャは破滅的な忘れ方に弱い。 本稿では,意味的セグメンテーションの文脈においてこの問題に対処する。 本稿では,このシフトを明示的に考慮した蒸留法に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-03T13:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。