論文の概要: Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained
Locality Learning Matters in Consistency Regularization
- arxiv url: http://arxiv.org/abs/2312.08631v1
- Date: Thu, 14 Dec 2023 03:28:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 00:11:32.709154
- Title: Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained
Locality Learning Matters in Consistency Regularization
- Title（参考訳）: マスケッドモデリングを用いた半教師付きセマンティックセマンティックセマンティックセマンティゼーション:一貫性規則化における局所性学習の課題
- Authors: Wentao Pan, Zhe Xu, Jiangpeng Yan, Zihan Wu, Raymond Kai-yu Tong, Xiu
Li, Jianhua Yao
- Abstract要約: 半教師付きセマンティックセグメンテーションはラベル付き画像と豊富なラベル付き画像を利用してラベル効率の高い学習を実現することを目的としている。
我々は,より詳細な局所性学習により,より高密度なセグメンテーションを実現する,textttMaskMatchという新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 31.333862320143968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised semantic segmentation aims to utilize limited labeled images
and abundant unlabeled images to achieve label-efficient learning, wherein the
weak-to-strong consistency regularization framework, popularized by FixMatch,
is widely used as a benchmark scheme. Despite its effectiveness, we observe
that such scheme struggles with satisfactory segmentation for the local
regions. This can be because it originally stems from the image classification
task and lacks specialized mechanisms to capture fine-grained local semantics
that prioritizes in dense prediction. To address this issue, we propose a novel
framework called \texttt{MaskMatch}, which enables fine-grained locality
learning to achieve better dense segmentation. On top of the original
teacher-student framework, we design a masked modeling proxy task that
encourages the student model to predict the segmentation given the unmasked
image patches (even with 30\% only) and enforces the predictions to be
consistent with pseudo-labels generated by the teacher model using the complete
image. Such design is motivated by the intuition that if the predictions are
more consistent given insufficient neighboring information, stronger
fine-grained locality perception is achieved. Besides, recognizing the
importance of reliable pseudo-labels in the above locality learning and the
original consistency learning scheme, we design a multi-scale ensembling
strategy that considers context at different levels of abstraction for
pseudo-label generation. Extensive experiments on benchmark datasets
demonstrate the superiority of our method against previous approaches and its
plug-and-play flexibility.
- Abstract（参考訳）: 半教師付き意味セグメンテーションは、限定されたラベル付き画像と豊富なラベル付き画像を利用してラベル効率のよい学習を実現することを目的としている。
有効性にもかかわらず、そのようなスキームは地域において満足なセグメンテーションに苦しむ。
これは、元々は画像分類タスクに由来し、密集した予測を優先するきめ細かい局所意味論をキャプチャする特別なメカニズムを欠いているためかもしれない。
そこで本研究では,より詳細な局所性学習により,より高密度なセグメンテーションを実現するための新しいフレームワークである「texttt{MaskMatch}」を提案する。
本研究は,従来の教師学生用フレームワーク上で,教師モデルが生成した擬似ラベルに整合性を持たせるために,学生モデルに対して,未成年イメージパッチ(30%のみ)のセグメンテーションの予測を促すマスク付きモデリングプロキシタスクを設計する。
このような設計は、隣接する情報が不十分な場合に予測がより一貫したものになると、よりきめ細かい局所性知覚が達成されるという直感に動機づけられる。
さらに,上記の局所学習における信頼性の高い疑似ラベルの重要性と,元の一貫性学習手法を認識し,疑似ラベル生成のための異なる抽象レベルでの文脈を考慮したマルチスケールセンシング戦略を考案する。
ベンチマークデータセットの大規模な実験は、従来の手法とプラグアンドプレイの柔軟性に対する我々の手法の優位性を実証している。
関連論文リスト
- Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation [56.1776710527814]
Weakly Incremental Learning for Semantic (WILSS)は、トレーニング済みのセグメンテーションモデルを利用して、コスト効率と手軽に利用できるイメージレベルのラベルを使用して、新しいクラスをセグメンテーションする。
WILSSを解く最も一般的な方法は、各新しいクラスのシード領域の生成であり、ピクセルレベルの監視の一形態として機能する。
本研究は, 種子領域の挙動を綿密に調整した, 相互排他性に関する革新的, 傾向的関係について提案する。
論文 参考訳（メタデータ） (2024-04-18T08:23:24Z) - Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised
Semantic Segmentation with Its Class Label [16.745019028033518]
画像レベルのクラスから情報を得たスクリブルアノテーションと擬似ラベルと、監督のためのグローバルセマンティクスの両方を利用するクラス駆動型スクリブルプロモーションネットワークを提案する。
スクリブルアノテーションの異なる性質を持つScribbleSupデータセットの実験は、従来の手法よりも優れており、本手法の優位性と堅牢性を示している。
論文 参考訳（メタデータ） (2024-02-27T14:51:56Z) - Progressive Feature Self-reinforcement for Weakly Supervised Semantic
Segmentation [55.69128107473125]
Weakly Supervised Semantic (WSSS) のイメージレベルラベルを用いたシングルステージアプローチを提案する。
我々は、画像内容が決定論的領域(例えば、自信ある前景と背景)と不確実領域(例えば、オブジェクト境界と誤分類されたカテゴリ)に適応的に分割して、別々の処理を行う。
そこで我々は,これらの自信のある領域と同一のクラスラベルを持つ拡張画像とのセマンティック一貫性を制約する補完的な自己強調手法を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:21:52Z) - Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant [72.4512562104361]
擬似ラベル付きラベル付きラベル付きデータは,特徴抽出器における代表的特徴の学習を容易にすることができると論じる。
そこで本研究では,擬似ラベルが特徴抽出器やマスク予測器に与える影響を解消する新しい枠組みであるジェントル指導アシスタント(GTA-Seg)を提案する。
論文 参考訳（メタデータ） (2023-01-18T07:11:24Z) - Location-Aware Self-Supervised Transformers [74.76585889813207]
画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。
参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。
実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
論文 参考訳（メタデータ） (2022-12-05T16:24:29Z) - Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels [26.542718087103665]
SemiMatchは意味論的に類似した画像間の密接な対応を確立するための半教師付きソリューションである。
筆者らのフレームワークは,ソースと弱増強ターゲット間のモデル予測自体を用いて擬似ラベルを生成し,擬似ラベルを用いてソースと強増強ターゲット間のモデルの再学習を行う。
実験では、SemiMatchは様々なベンチマーク、特にPF-Willowにおける最先端のパフォーマンスを大きなマージンで達成している。
論文 参考訳（メタデータ） (2022-03-30T03:52:50Z) - Towards Fewer Annotations: Active Learning via Region Impurity and
Prediction Uncertainty for Domain Adaptive Semantic Segmentation [19.55572909866489]
ドメインシフトに基づく意味的セグメンテーションのための領域ベースアクティブラーニング手法を提案する。
領域不純物・予測不確かさ(AL-RIPU)を用いた能動学習では,画像領域の空間的隣接性を特徴付ける新たな獲得戦略が導入された。
我々の手法は、教師付きパフォーマンスにほぼ到達するためにはほとんどアノテーションを必要とせず、最先端の手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2021-11-25T06:40:58Z) - Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。
画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。
特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文 参考訳（メタデータ） (2020-12-09T12:40:13Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-21T13:27:09Z) - Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine
Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。
本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ
画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
論文 参考訳（メタデータ） (2020-07-11T03:44:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。