論文の概要: DEARLi: Decoupled Enhancement of Recognition and Localization for Semi-supervised Panoptic Segmentation
- arxiv url: http://arxiv.org/abs/2507.10118v1
- Date: Mon, 14 Jul 2025 10:01:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:24.661094
- Title: DEARLi: Decoupled Enhancement of Recognition and Localization for Semi-supervised Panoptic Segmentation
- Title(参考訳): DEARLi:半教師付きパノプティックセグメンテーションにおける認識と局在の分離
- Authors: Ivan Martinović, Josip Šarić, Marin Oršić, Matej Kristan, Siniša Šegvić,
- Abstract要約: 我々は2つの専用基礎モデルによって駆動される新しい半教師付きパノプティカルアプローチを開発した。
マスク変換器の整合性とCLIP特徴のゼロショット分類を補完することにより認識を向上させる。
我々は、ADE20K上の29.9 PQと38.9 mIoUを158のラベル付き画像で観測する。
- 参考スコア(独自算出の注目度): 7.374034913971139
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pixel-level annotation is expensive and time-consuming. Semi-supervised segmentation methods address this challenge by learning models on few labeled images alongside a large corpus of unlabeled images. Although foundation models could further account for label scarcity, effective mechanisms for their exploitation remain underexplored. We address this by devising a novel semi-supervised panoptic approach fueled by two dedicated foundation models. We enhance recognition by complementing unsupervised mask-transformer consistency with zero-shot classification of CLIP features. We enhance localization by class-agnostic decoder warm-up with respect to SAM pseudo-labels. The resulting decoupled enhancement of recognition and localization (DEARLi) particularly excels in the most challenging semi-supervised scenarios with large taxonomies and limited labeled data. Moreover, DEARLi outperforms the state of the art in semi-supervised semantic segmentation by a large margin while requiring 8x less GPU memory, in spite of being trained only for the panoptic objective. We observe 29.9 PQ and 38.9 mIoU on ADE20K with only 158 labeled images. The source code is available at https://github.com/helen1c/DEARLi.
- Abstract(参考訳): ピクセルレベルのアノテーションは高価で時間を要する。
半教師付きセグメンテーション法は、ラベルなし画像の大きなコーパスと共にラベル付き画像のモデルを学習することで、この問題に対処する。
基礎モデルはラベルの不足を更に説明できるが、それらの利用の効果的なメカニズムは未解明のままである。
この問題を解決するために、2つの専門的な基礎モデルによって駆動される、新しい半教師付き汎光学アプローチを考案する。
教師なしマスク変換器の整合性とCLIP特徴のゼロショット分類を補完することにより認識を向上させる。
SAM擬似ラベルに関して,クラス非依存型デコーダウォームアップによるローカライズを強化した。
結果として生じる認識と局所化の非結合化(DEARLi)は、特に大きな分類学と限定されたラベル付きデータを持つ最も困難な半教師付きシナリオに優れている。
さらに、DEARLiは、半教師付きセマンティックセマンティックセグメンテーションにおいて、パン光学的目的のためにのみトレーニングされているにもかかわらず、8倍のGPUメモリを必要とする大きなマージンで最先端のセマンティックセグメンテーションを上回ります。
我々は、ADE20K上の29.9 PQと38.9 mIoUを158のラベル付き画像で観測する。
ソースコードはhttps://github.com/helen1c/DEARLiで入手できる。
関連論文リスト
- PEPL: Precision-Enhanced Pseudo-Labeling for Fine-Grained Image Classification in Semi-Supervised Learning [3.801446153948012]
半教師付き学習フレームワーク内でのきめ細かい画像分類のためのPEPL(Precision-Enhanced Pseudo-Labeling)手法を提案する。
提案手法は,高品質な擬似ラベルを生成することにより,ラベルなしデータの豊富さを活用する。
ベンチマークデータセット上での最先端のパフォーマンスを実現し、既存の半教師付き戦略よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2024-09-05T02:32:07Z) - Progressive Feature Self-reinforcement for Weakly Supervised Semantic
Segmentation [55.69128107473125]
Weakly Supervised Semantic (WSSS) のイメージレベルラベルを用いたシングルステージアプローチを提案する。
我々は、画像内容が決定論的領域(例えば、自信ある前景と背景)と不確実領域(例えば、オブジェクト境界と誤分類されたカテゴリ)に適応的に分割して、別々の処理を行う。
そこで我々は,これらの自信のある領域と同一のクラスラベルを持つ拡張画像とのセマンティック一貫性を制約する補完的な自己強調手法を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:21:52Z) - Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained
Locality Learning Matters in Consistency Regularization [31.333862320143968]
半教師付きセマンティックセグメンテーションはラベル付き画像と豊富なラベル付き画像を利用してラベル効率の高い学習を実現することを目的としている。
我々は,より詳細な局所性学習により,より高密度なセグメンテーションを実現する,textttMaskMatchという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T03:28:53Z) - Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。
提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
論文 参考訳(メタデータ) (2023-09-11T14:32:04Z) - Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly
Supervised Semantic Segmentation [30.812323329239614]
弱教師付きセマンティックセマンティックセグメンテーション(WSSS)は、画像レベルのアノテーションのみを使用することで、精細なピクセルレベルのアノテーションの必要性を回避することを目的としている。
既存のほとんどのメソッドは、ピクセルレベルの擬似ラベルを導出するためにクラスアクティベーションマップ(CAM)に依存している。
オブジェクト,部品,サブパートのきめ細かいインスタンスマスクを生成できるクラスに依存しない基礎モデルであるSegment Anything Model (SAM) を利用した,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-05-09T23:24:09Z) - Multi-Granularity Denoising and Bidirectional Alignment for Weakly
Supervised Semantic Segmentation [75.32213865436442]
本稿では,雑音ラベルと多クラス一般化問題を緩和するために,MDBAモデルを提案する。
MDBAモデルはPASCAL VOC 2012データセットの検証とテストセットにおいて69.5%と70.2%のmIoUに達することができる。
論文 参考訳(メタデータ) (2023-05-09T03:33:43Z) - High-fidelity Pseudo-labels for Boosting Weakly-Supervised Segmentation [17.804090651425955]
画像レベルの弱い教師付きセグメンテーション(WSSS)は、トレーニング中にセグメンテーションマスクを代理することで、通常膨大なデータアノテーションコストを削減する。
本研究は,GAPの代替となる重要サンプリングと特徴類似性損失という,CAMを改善するための2つの手法に基づく。
複数の独立二項問題の後部二項問題に基づいて両手法を再構成する。
パフォーマンスが向上し、より一般的なものになり、事実上あらゆるWSSSメソッドを増強できるアドオンメソッドが出来上がります。
論文 参考訳(メタデータ) (2023-04-05T17:43:57Z) - Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly
Supervised Semantic Segmentation [66.87777732230884]
本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。
また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
論文 参考訳(メタデータ) (2022-06-20T03:40:56Z) - Self-supervised Image-specific Prototype Exploration for Weakly
Supervised Semantic Segmentation [72.33139350241044]
画像レベルのラベルをベースとしたWSSS(Weakly Supervised Semantic COCO)は,アノテーションコストの低さから注目されている。
本稿では,画像特異的なプロトタイプ探索 (IPE) と汎用一貫性 (GSC) の喪失からなる画像固有プロトタイプ探索 (SIPE) を提案する。
SIPEは,画像レベルラベルのみを用いて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-03-06T09:01:03Z) - Towards Single Stage Weakly Supervised Semantic Segmentation [2.28438857884398]
弱教師付きセマンティックセグメンテーションへのシングルステージアプローチを提案する。
ポイントアノテーションを使用して、オンザフライで信頼性の高い擬似マスクを生成します。
我々は、最近の実世界のデータセットにおいて、他のSOTA WSSS手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2021-06-18T18:34:50Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳(メタデータ) (2021-04-12T21:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。