論文の概要: Semantic and Spatial Adaptive Pixel-level Classifier for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2405.06525v1
- Date: Fri, 10 May 2024 15:14:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 15:28:24.882224
- Title: Semantic and Spatial Adaptive Pixel-level Classifier for Semantic Segmentation
- Title(参考訳): セマンティックセグメンテーションのための意味的・空間的適応的画素レベル分類器
- Authors: Xiaowen Ma, Zhenliang Ni, Xinghao Chen,
- Abstract要約: 上記の課題に対処する新しい意味的・空間的適応型分類器を提案する。
具体的には、固定されたプロトタイプから得られた粗いマスクを用いて、テスト画像のセマンティック領域と空間領域の中心に向けて固定されたプロトタイプを調整する。
提案したSSAは,計算コストを最小限に抑えて,ベースラインモデルのセグメンテーション性能を著しく向上させる。
- 参考スコア(独自算出の注目度): 11.176993272867396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vanilla pixel-level classifiers for semantic segmentation are based on a certain paradigm, involving the inner product of fixed prototypes obtained from the training set and pixel features in the test image. This approach, however, encounters significant limitations, i.e., feature deviation in the semantic domain and information loss in the spatial domain. The former struggles with large intra-class variance among pixel features from different images, while the latter fails to utilize the structured information of semantic objects effectively. This leads to blurred mask boundaries as well as a deficiency of fine-grained recognition capability. In this paper, we propose a novel Semantic and Spatial Adaptive (SSA) classifier to address the above challenges. Specifically, we employ the coarse masks obtained from the fixed prototypes as a guide to adjust the fixed prototype towards the center of the semantic and spatial domains in the test image. The adapted prototypes in semantic and spatial domains are then simultaneously considered to accomplish classification decisions. In addition, we propose an online multi-domain distillation learning strategy to improve the adaption process. Experimental results on three publicly available benchmarks show that the proposed SSA significantly improves the segmentation performance of the baseline models with only a minimal increase in computational cost. Code is available at https://github.com/xwmaxwma/SSA.
- Abstract(参考訳): セマンティックセグメンテーションのためのバニラピクセルレベルの分類器は、トレーニングセットから得られた固定プロトタイプの内部積とテスト画像中の画素特徴を含む特定のパラダイムに基づいている。
しかしこのアプローチは、意味領域における特徴偏差や空間領域における情報損失など、重大な制限に直面している。
前者は異なる画像の画素特徴間の大きなクラス内ばらつきに悩まされ、後者は意味オブジェクトの構造情報を効果的に利用できない。
これは、ぼやけたマスクの境界や、きめ細かい認識能力の欠如につながる。
本稿では,これらの課題に対処する新しい意味・空間適応型分類器を提案する。
具体的には、固定されたプロトタイプから得られた粗いマスクを用いて、テスト画像のセマンティック領域と空間領域の中心に向けて固定されたプロトタイプを調整する。
意味領域と空間領域における適応型プロトタイプは同時に分類決定を行うと考えられる。
さらに, 適応プロセスを改善するために, オンライン多ドメイン蒸留学習戦略を提案する。
3つの公開ベンチマークによる実験結果から,提案したSSAは,計算コストを最小限に抑えて,ベースラインモデルのセグメンテーション性能を大幅に向上することが示された。
コードはhttps://github.com/xwmaxwma/SSA.comで入手できる。
関連論文リスト
- Semantic Connectivity-Driven Pseudo-labeling for Cross-domain
Segmentation [89.41179071022121]
自己学習はドメイン間セマンティックセグメンテーションにおいて一般的なアプローチである。
本稿ではセマンティック・コネクティビティ駆動の擬似ラベル方式を提案する。
このアプローチは、接続レベルにおいて擬似ラベルを定式化し、構造的および低雑音のセマンティクスの学習を容易にする。
論文 参考訳(メタデータ) (2023-12-11T12:29:51Z) - SePiCo: Semantic-Guided Pixel Contrast for Domain Adaptive Semantic
Segmentation [52.62441404064957]
ドメイン適応セマンティックセグメンテーションは、ラベル付きソースドメインでトレーニングされたモデルを利用することで、ラベル付きターゲットドメイン上で満足のいく密度の予測を試みる。
多くの手法は、ノイズの多い擬似ラベルを緩和する傾向があるが、類似のセマンティックな概念を持つクロスドメインピクセル間の固有の接続を無視する。
本稿では,個々の画素のセマンティックな概念を強調する一段階適応フレームワークSePiCoを提案する。
論文 参考訳(メタデータ) (2022-04-19T11:16:29Z) - AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。
本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。
AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-18T10:14:45Z) - SPCL: A New Framework for Domain Adaptive Semantic Segmentation via
Semantic Prototype-based Contrastive Learning [6.705297811617307]
ドメイン適応は、ラベル付けされたソースドメインからラベル付けされていないターゲットドメインに知識を転送するのに役立ちます。
本稿では,クラスアライメントを微粒化するための新しい意味的プロトタイプに基づくコントラスト学習フレームワークを提案する。
我々の手法は実装が容易であり、最先端の手法と比較して優れた結果が得られる。
論文 参考訳(メタデータ) (2021-11-24T09:26:07Z) - Semantic Distribution-aware Contrastive Adaptation for Semantic
Segmentation [50.621269117524925]
ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。
画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。
複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
論文 参考訳(メタデータ) (2021-05-11T13:21:25Z) - More Separable and Easier to Segment: A Cluster Alignment Method for
Cross-Domain Semantic Segmentation [41.81843755299211]
上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。
具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。
GTA5とSynthiaで行った実験は,本法の有効性を実証した。
論文 参考訳(メタデータ) (2021-05-07T10:24:18Z) - Pixel-Level Cycle Association: A New Perspective for Domain Adaptive
Semantic Segmentation [169.82760468633236]
本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。
我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
論文 参考訳(メタデータ) (2020-10-31T00:11:36Z) - Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。
ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。
親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
論文 参考訳(メタデータ) (2020-09-26T10:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。