論文の概要: Beyond Pixels: Semi-Supervised Semantic Segmentation with a Multi-scale Patch-based Multi-Label Classifier

• arxiv url: http://arxiv.org/abs/2407.04036v1
• Date: Thu, 4 Jul 2024 16:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 17:23:59.666107
• Title: Beyond Pixels: Semi-Supervised Semantic Segmentation with a Multi-scale Patch-based Multi-Label Classifier
• Title（参考訳）: Beyond Pixels: マルチスケールパッチベースマルチラベル分類器による半スーパービジョンセマンティックセマンティックセマンティックセグメンテーション
• Authors: Prantik Howlader, Srijan Das, Hieu Le, Dimitris Samaras,
• Abstract要約: マルチスケールパッチベースマルチラベル(MPMC)を導入する。 MPMCはパッチレベルの監視を提供し、パッチ内の異なるクラスのピクセル領域の識別を可能にする。 MPMCは、教師のうるさい疑似ラベル監督の影響を軽減するためにパッチレベルの分類を用いて、適応的な擬似ラベル重みを学習する。
• 参考スコア（独自算出の注目度）: 37.02049053586457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incorporating pixel contextual information is critical for accurate segmentation. In this paper, we show that an effective way to incorporate contextual information is through a patch-based classifier. This patch classifier is trained to identify classes present within an image region, which facilitates the elimination of distractors and enhances the classification of small object segments. Specifically, we introduce Multi-scale Patch-based Multi-label Classifier (MPMC), a novel plug-in module designed for existing semi-supervised segmentation (SSS) frameworks. MPMC offers patch-level supervision, enabling the discrimination of pixel regions of different classes within a patch. Furthermore, MPMC learns an adaptive pseudo-label weight, using patch-level classification to alleviate the impact of the teacher's noisy pseudo-label supervision the student. This lightweight module can be integrated into any SSS framework, significantly enhancing their performance. We demonstrate the efficacy of our proposed MPMC by integrating it into four SSS methodologies and improving them across two natural image and one medical segmentation dataset, notably improving the segmentation results of the baselines across all the three datasets.
• Abstract（参考訳）: ピクセルコンテキスト情報を組み込むことは、正確なセグメンテーションに不可欠である。 本稿では,文脈情報を組み込む効果的な方法は,パッチベースの分類器によるものであることを示す。 このパッチ分類器は、画像領域内に存在するクラスを識別するように訓練され、イントラクタの除去を容易にし、小さなオブジェクトセグメントの分類を強化する。 具体的には、既存の半教師付きセグメンテーション(SSS)フレームワーク用に設計された新しいプラグインモジュールであるMPMC(Multiscale Patch-based Multi-label Classifier)を紹介する。 MPMCはパッチレベルの監視を提供し、パッチ内の異なるクラスのピクセル領域の識別を可能にする。 さらに、MPMCは、教師のうるさい疑似ラベル監視の影響を軽減するために、パッチレベルの分類を用いて適応的な擬似ラベル重みを学習する。 この軽量モジュールは任意のSSSフレームワークに統合することができ、パフォーマンスを大幅に向上させることができる。 提案手法を4つのSSS手法に統合し、2つの自然な画像と1つの医学的セグメンテーションデータセットにわたって改善することにより,提案手法の有効性を実証する。

関連論文リスト

• PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
  PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。 本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:03Z)
• Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
  本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。 本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
  論文  参考訳（メタデータ） (2024-02-04T16:06:05Z)
• TagCLIP: A Local-to-Global Framework to Enhance Open-Vocabulary Multi-Label Classification of CLIP Without Training [29.431698321195814]
  Contrastive Language-Image Pre-Training (CLIP) はオープン語彙分類において顕著な能力を示した。 CLIPは、グローバル機能が最も顕著なクラスに支配される傾向があるため、マルチラベルデータセットのパフォーマンスが低い。 画像タグを得るための局所言語フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:15:40Z)
• CLIP Is Also a Good Teacher: A New Learning Framework for Inductive Zero-shot Semantic Segmentation [6.181169909576527]
  汎用Zero-shot Semanticは、目に見えないカテゴリーと見えないカテゴリの両方を、目に見えないカテゴリの監督下だけに分割することを目的としている。 既存の手法では大規模な視覚言語モデル(VLM)を採用しており、ゼロショット性能が優れている。 ゼロショットおよびオープンボキャブラリタスクに適用されたクローズドセットセグメンテーション用に設計された任意のイメージエンコーダを実現するためのトレーニングフレームワークであるCLIP-ZSS(Zero-shot Semantic)を提案する。
  論文  参考訳（メタデータ） (2023-10-03T09:33:47Z)
• Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings [19.997929884477628]
  クラス埋め込みのメカニズムを探求し、クラスマスクに基づいてより明示的で意味のあるクラス埋め込みを生成することができるという知見を得る。 マルチステージ画像特徴との相互作用において,クラス埋め込みを明示的に獲得・拡張する新たなセグメンテーションパラダイムであるECENetを提案する。 ECENetはADE20Kデータセットよりもはるかに少ない計算コストでパフォーマンスを向上し、PASCAL-Contextデータセット上で新たな最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-08-24T16:16:10Z)
• Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation [75.32213865436442]
  本稿では,雑音ラベルと多クラス一般化問題を緩和するために,MDBAモデルを提案する。 MDBAモデルはPASCAL VOC 2012データセットの検証とテストセットにおいて69.5%と70.2%のmIoUに達することができる。
  論文  参考訳（メタデータ） (2023-05-09T03:33:43Z)
• Weakly Supervised Semantic Segmentation via Progressive Patch Learning [39.87150496277798]
  分類の局所的詳細抽出を改善するために「プログレッシブ・パッチ・ラーニング」アプローチを提案する。 は、機能マップをパッチに分解し、最終的なアグリゲーションの前に各ローカルパッチを独立して処理する。 プログレッシブ・パッチ・ラーニング(Progressive Patch Learning)は、特徴の破壊とパッチ・ラーニングをさらにプログレッシブな方法で多段階の粒度に拡張する。
  論文  参考訳（メタデータ） (2022-09-16T09:54:17Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images [54.08240004593062]
  本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。 SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。 SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
  論文  参考訳（メタデータ） (2021-07-25T08:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。