論文の概要: Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2302.14250v2
• Date: Thu, 20 Apr 2023 08:12:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 16:42:27.069965
• Title: Foundation Model Drives Weakly Incremental Learning for Semantic Segmentation
• Title（参考訳）: 意味セグメンテーションのための弱増分学習を支援する基礎モデル
• Authors: Chaohui Yu, Qiang Zhou, Jingliang Li, Jianlong Yuan, Zhibin Wang, Fan Wang
• Abstract要約: セマンティックセグメンテーション(WILSS)のための弱い漸進的な学習は、新しく魅力的なタスクである。 本稿では,WILSS のための新しいデータ効率フレームワーク FMWISS を提案する。
• 参考スコア（独自算出の注目度）: 12.362400851574872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern incremental learning for semantic segmentation methods usually learn new categories based on dense annotations. Although achieve promising results, pixel-by-pixel labeling is costly and time-consuming. Weakly incremental learning for semantic segmentation (WILSS) is a novel and attractive task, which aims at learning to segment new classes from cheap and widely available image-level labels. Despite the comparable results, the image-level labels can not provide details to locate each segment, which limits the performance of WILSS. This inspires us to think how to improve and effectively utilize the supervision of new classes given image-level labels while avoiding forgetting old ones. In this work, we propose a novel and data-efficient framework for WILSS, named FMWISS. Specifically, we propose pre-training based co-segmentation to distill the knowledge of complementary foundation models for generating dense pseudo labels. We further optimize the noisy pseudo masks with a teacher-student architecture, where a plug-in teacher is optimized with a proposed dense contrastive loss. Moreover, we introduce memory-based copy-paste augmentation to improve the catastrophic forgetting problem of old classes. Extensive experiments on Pascal VOC and COCO datasets demonstrate the superior performance of our framework, e.g., FMWISS achieves 70.7% and 73.3% in the 15-5 VOC setting, outperforming the state-of-the-art method by 3.4% and 6.1%, respectively.
• Abstract（参考訳）: セグメンテーション手法の現代的漸進的学習は通常、密接なアノテーションに基づいて新しいカテゴリを学ぶ。 有望な結果が得られるが、ピクセルごとのラベリングはコストと時間を要する。 セマンティックセグメンテーションのための弱インクリメンタル学習(WILSS)は、安価で広く利用可能なイメージレベルのラベルから新しいクラスをセグメンテーションすることを目的とした、新しく魅力的なタスクである。 同等の結果にもかかわらず、画像レベルのラベルは各セグメントを特定する詳細を提供できないため、WILSSの性能は制限される。 これにより,画像レベルのラベルが与えられた新しいクラスを,古いクラスを忘れずに改善し,効果的に活用する方法を考えることができる。 本研究では,WILSS のための新しいデータ効率フレームワーク FMWISS を提案する。 具体的には,擬似ラベルを生成するための相補的基礎モデルの知識を抽出するために,事前学習に基づくコセグメンテーションを提案する。 さらに,提案する濃密なコントラスト損失にプラグイン教師を最適化した教師・学生アーキテクチャを用いて,うるさい仮面を最適化する。 さらに,古いクラスの破滅的な忘れ方を改善するために,メモリベースのコピーペースト拡張を導入する。 pascal voc と coco データセットに関する広範な実験により、fmwiss は 15-5 voc 設定において 70.7% と 73.3% を達成し、それぞれ 3.4% と 6.1% で最先端法を上回った。

関連論文リスト

• A Self Supervised StyleGAN for Image Annotation and Classification with Extremely Limited Labels [35.43549147657739]
  画像アノテーションと分類のための自己教師型アプローチであるSS-StyleGANを提案する。 提案手法は,50と10の小さなラベル付きデータセットを用いて,強力な分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-12-26T09:46:50Z)
• Improving Semi-Supervised Semantic Segmentation with Dual-Level Siamese Structure Network [7.438140196173472]
  画素単位のコントラスト学習のための二重レベルシームス構造ネットワーク(DSSN)を提案する。 弱強監督のための新しいクラス認識型擬似ラベル選択戦略を導入する。 提案手法は,2つのデータセットに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-07-26T03:30:28Z)
• Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation [57.80416375466496]
  画像分類タスクにおいて、破滅的な忘れを緩和するために、増分的あるいは連続的な学習が広く研究されている。 本稿では,マイニングのための地域目的性(MicroSeg)を通した未確認クラスという,シンプルで効果的な手法を提案する。 われわれのMicroSegは、強い客観性を持つ背景領域が、歴史的または将来の段階においてそれらの概念に属するという仮定に基づいている。 このように、特徴空間における古い概念を特徴付ける分布は、背景シフトによる破滅的な忘れを軽減し、よりよく認識される。
  論文  参考訳（メタデータ） (2022-11-13T10:06:17Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)
• Incremental Learning in Semantic Segmentation from Image Labels [18.404068463921426]
  既存のセマンティックセグメンテーションアプローチは印象的な結果を得るが、新しいカテゴリが発見されるにつれてモデルを漸進的に更新することは困難である。 本稿では、安価で広く利用可能な画像レベルのラベルから新しいクラスを分類することを目的とした、Weakly Incremental Learning for Semanticsのための新しいフレームワークを提案する。 擬似ラベルをオフラインで生成する既存のアプローチとは対照的に、画像レベルのラベルで訓練され、セグメンテーションモデルで正規化される補助分類器を使用して、擬似スーパービジョンをオンラインで取得し、モデルを漸進的に更新する。
  論文  参考訳（メタデータ） (2021-12-03T12:47:12Z)
• A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation [40.27705176115985]
  Few-shotのセマンティックセマンティックセグメンテーションは、興味のある新しいクラスのために、地上の真実のピクセルレベルのラベルを持つ少数の画像しか利用できない学習タスクに対処する。 限られたデータとその意味ラベルから擬似画素レベルのセグメンテーションマスクを予測するメタラーニングフレームワークを提案する。 提案する学習モデルは,画素レベルのメタラーナーとみなすことができる。
  論文  参考訳（メタデータ） (2021-11-02T08:28:11Z)
• Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
  そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。 同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。 学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
  論文  参考訳（メタデータ） (2021-07-25T11:39:58Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)
• A Few Guidelines for Incremental Few-Shot Segmentation [57.34237650765928]
  事前訓練されたセグメンテーションモデルと、新しいクラスを含む画像が少ないことを前提として、我々が目指すのは、以前に見たセグメンテーション能力を維持しながら、新しいクラスをセグメンテーションすることである。 このシナリオにおけるエンド・ツー・エンドのトレーニングの主な問題はどのようなものかを示します。 一 バッチ正規化統計を、バッチ正規化で修正できる新しいクラスへ向けての漂流すること。 二 旧クラスの忘れ物 正規化戦略で解決できるもの。
  論文  参考訳（メタデータ） (2020-11-30T20:45:56Z)
• Grafit: Learning fine-grained image representations with coarse labels [114.17782143848315]
  本稿では,学習ラベルの提供するものよりも細かな表現を学習する問題に対処する。 粗いラベルと下層の細粒度潜在空間を併用することにより、カテゴリレベルの検索手法の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-11-25T19:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。