論文の概要: Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings

• arxiv url: http://arxiv.org/abs/2308.12894v1
• Date: Thu, 24 Aug 2023 16:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 13:14:51.858797
• Title: Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings
• Title（参考訳）: 明示的なクラス埋め込みの観点からの意味セグメンテーションの促進
• Authors: Yuhe Liu, Chuanjian Liu, Kai Han, Quan Tang, Zengchang Qin
• Abstract要約: クラス埋め込みのメカニズムを探求し、クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 マルチステージ画像特徴との相互作用において,クラス埋め込みを明示的に獲得・拡張する新たなセグメンテーションパラダイムであるECENetを提案する。 ECENetはADE20Kデータセットよりもはるかに少ない計算コストでパフォーマンスを向上し、PASCAL-Contextデータセット上で新たな最先端結果を達成する。
• 参考スコア（独自算出の注目度）: 19.997929884477628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation is a computer vision task that associates a label with each pixel in an image. Modern approaches tend to introduce class embeddings into semantic segmentation for deeply utilizing category semantics, and regard supervised class masks as final predictions. In this paper, we explore the mechanism of class embeddings and have an insight that more explicit and meaningful class embeddings can be generated based on class masks purposely. Following this observation, we propose ECENet, a new segmentation paradigm, in which class embeddings are obtained and enhanced explicitly during interacting with multi-stage image features. Based on this, we revisit the traditional decoding process and explore inverted information flow between segmentation masks and class embeddings. Furthermore, to ensure the discriminability and informativity of features from backbone, we propose a Feature Reconstruction module, which combines intrinsic and diverse branches together to ensure the concurrence of diversity and redundancy in features. Experiments show that our ECENet outperforms its counterparts on the ADE20K dataset with much less computational cost and achieves new state-of-the-art results on PASCAL-Context dataset. The code will be released at https://gitee.com/mindspore/models and https://github.com/Carol-lyh/ECENet.
• Abstract（参考訳）: 意味セグメンテーション(semantic segmentation)は、画像の各ピクセルにラベルを関連付けるコンピュータビジョンタスクである。 現代のアプローチでは、セマンティックセグメンテーションにクラス埋め込みを導入し、カテゴリセマンティクスを深く活用し、教師付きクラスマスクを最終的な予測と見なす傾向にある。 本稿では,クラス埋め込みのメカニズムを考察し,クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 そこで本研究では,多段階画像特徴との対話中にクラス埋め込みを明示的に獲得・拡張する新しいセグメンテーションパラダイム ecenet を提案する。 これに基づいて,従来の復号処理を再検討し,セグメンテーションマスクとクラス埋め込み間の逆情報フローを探索する。 さらに,バックボーンからの特徴の識別性と情報提供性を確保するため,特徴の多様性と冗長性を確保するために,固有の分岐と多様な分岐を組み合わせた特徴再構成モジュールを提案する。 実験の結果、ECENetはADE20Kデータセットよりも計算コストがはるかに低く、PASCAL-Contextデータセット上で新たな最先端結果が得られることがわかった。 コードはhttps://gitee.com/mindspore/modelsとhttps://github.com/Carol-lyh/ECENetでリリースされる。

関連論文リスト

• Unlocking the Multi-modal Potential of CLIP for Generalized Category Discovery [50.564146730579424]
  テキスト埋め込み合成器(TES)を提案する。 提案手法は,CLIPのマルチモーダルポテンシャルを解放し,すべてのGCDベンチマークにおいて,ベースライン手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2024-03-15T02:40:13Z)
• CoBra: Complementary Branch Fusing Class and Semantic Knowledge for Robust Weakly Supervised Semantic Segmentation [3.4248731707266264]
  本稿では,クラス(CNN)とセマンティック(ViT)の相補的知識を提供する2つの異なるアーキテクチャからなる新しい2つの分岐フレームワークを提案する。 我々のモデルはCoBraを通じてCNNとViTの補完的な出力を融合し、クラス情報とセマンティック情報の両方を効果的に統合する堅牢な擬似マスクを生成する。
  論文  参考訳（メタデータ） (2024-02-05T12:33:37Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• RaSP: Relation-aware Semantic Prior for Weakly Supervised Incremental Segmentation [28.02204928717511]
  本稿では,事前学習したクラスから新しいクラスにオブジェクトを移すための弱い教師付きアプローチを提案する。 クラス間の単純なペアインタラクションでさえ、古いクラスと新しいクラスのセグメンテーションマスクの品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T14:14:21Z)
• A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation [11.47479526463185]
  Few-shotのセグメンテーションは、いくつかの注釈付きサポートイメージが与えられた未確認クラスのオブジェクトをセグメントすることを目的としている。 既存のほとんどのメソッドは、クエリ機能を独立したサポートプロトタイプで縫い付け、混合機能をデコーダに供給することでクエリイメージを分割する。 セグメンテーションを容易にするために,より価値の高いクラス認識とクラス非依存アライメントガイダンスを組み合わせた共同フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-02T17:33:25Z)
• Weak-shot Semantic Segmentation via Dual Similarity Transfer [33.18870478560099]
  MaskFormer上で2つの類似性転送を行うSimFormerを提案する。 提案セグメンテーションにより、プロポーザルピクセルの類似性をベースクラスから新しいクラスに転送できる。 また,基本クラスからピクセル・ピクセル類似性を学習し,新しいクラスのセマンティックマスクとそのようなクラスに依存しないセマンティック類似性を蒸留する。
  論文  参考訳（メタデータ） (2022-10-05T13:54:34Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)
• Semantically Meaningful Class Prototype Learning for One-Shot Image Semantic Segmentation [58.96902899546075]
  ワンショットセマンティックイメージセグメンテーションは、1つの注釈付きイメージで新しいクラスのオブジェクト領域を分割することを目的としている。 最近の研究では、テスト時に予想される状況を模倣するために、エピソディクストレーニング戦略を採用している。 エピソードトレーニングにおいて,マルチクラスラベル情報を活用することを提案する。 ネットワークが各カテゴリに対してより意味のある機能を生成するように促すだろう。
  論文  参考訳（メタデータ） (2021-02-22T12:07:35Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。