論文の概要: Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic
Segmentation
- arxiv url: http://arxiv.org/abs/2108.06536v1
- Date: Sat, 14 Aug 2021 13:33:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:14:08.060998
- Title: Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic
Segmentation
- Title（参考訳）: 一般化ゼロショット意味セグメンテーションにおけるジョイント埋め込み空間の活用
- Authors: Donghyeon Baek, Youngmin Oh, Bumsub Ham
- Abstract要約: 一般化ゼロショットセマンティックセマンティックセグメンテーション(GZS3)は、見えないクラスと見えないクラスのピクセルワイズセマンティックラベルを予測する。
ほとんどのGZS3メソッドは、対応するセマンティックなクラスから見えないクラスの視覚的特徴を合成する生成的アプローチを採用している。
統一されたフレームワークにおける制限に対処するための差別的アプローチを提案する。
- 参考スコア（独自算出の注目度）: 25.070027668717422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of generalized zero-shot semantic segmentation (GZS3)
predicting pixel-wise semantic labels for seen and unseen classes. Most GZS3
methods adopt a generative approach that synthesizes visual features of unseen
classes from corresponding semantic ones (e.g., word2vec) to train novel
classifiers for both seen and unseen classes. Although generative methods show
decent performance, they have two limitations: (1) the visual features are
biased towards seen classes; (2) the classifier should be retrained whenever
novel unseen classes appear. We propose a discriminative approach to address
these limitations in a unified framework. To this end, we leverage visual and
semantic encoders to learn a joint embedding space, where the semantic encoder
transforms semantic features to semantic prototypes that act as centers for
visual features of corresponding classes. Specifically, we introduce
boundary-aware regression (BAR) and semantic consistency (SC) losses to learn
discriminative features. Our approach to exploiting the joint embedding space,
together with BAR and SC terms, alleviates the seen bias problem. At test time,
we avoid the retraining process by exploiting semantic prototypes as a
nearest-neighbor (NN) classifier. To further alleviate the bias problem, we
also propose an inference technique, dubbed Apollonius calibration (AC), that
modulates the decision boundary of the NN classifier to the Apollonius circle
adaptively. Experimental results demonstrate the effectiveness of our
framework, achieving a new state of the art on standard benchmarks.
- Abstract（参考訳）: 本稿では,一般ゼロショットセマンティックセマンティックセグメンテーション(GZS3)の課題に対処する。
ほとんどのGZS3メソッドは、見知らぬクラスの視覚的特徴を対応する意味的特徴(例えば word2vec)から合成し、見知らぬクラスと見えないクラスの両方に新しい分類器を訓練する。
生成法は優れた性能を示すが,(1)視覚的特徴が目に見えるクラスに偏っていること,(2)未知のクラスが出現するたびに分類器を再訓練する必要があること,の2つの制限がある。
我々は,これらの制約を統一したフレームワークで解決するための差別的アプローチを提案する。
この目的のために、視覚的および意味的エンコーダを活用して、セマンティックエンコーダがセマンティック特徴を対応するクラスの視覚的特徴の中心として機能するセマンティックプロトタイプに変換する、共同埋め込み空間を学習する。
具体的には,境界認識回帰(BAR)と意味整合性(SC)の損失を導入し,識別的特徴を学習する。
我々は, bar と sc の用語を併用した統合埋め込み空間を活用し, バイアス問題を緩和する手法を提案する。
テスト時には,近親者(NN)分類器としてセマンティックプロトタイプを活用することで,再訓練プロセスを回避する。
さらにバイアス問題を緩和するために、NN分類器の判断境界をアポロニウス円に適応的に変調するApollonius calibration (AC)と呼ばれる推論手法を提案する。
実験の結果,本フレームワークの有効性が実証され,標準ベンチマークにおける新しい技術が得られた。
関連論文リスト
- Semantic Enhanced Few-shot Object Detection [37.715912401900745]
本稿では, セマンティックな埋め込みを利用してより優れた検出を行う, 微調整に基づくFSODフレームワークを提案する。
提案手法は,各新規クラスが類似の基底クラスと混同されることなく,コンパクトな特徴空間を構築することを可能にする。
論文 参考訳（メタデータ） (2024-06-19T12:40:55Z) - Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。
クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。
我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-03-13T11:23:55Z) - SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized
Zero-Shot Learning [0.7420433640907689]
一般化ゼロショット学習(GZSL)は、見知らぬクラスから知識を伝達することで、目に見えないクラスを認識する。
本稿では,一般化ギャップに対処するための二重戦略を提案する。
論文 参考訳（メタデータ） (2023-12-20T15:18:51Z) - Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。
機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。
我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文 参考訳（メタデータ） (2023-01-03T13:51:51Z) - Cluster-based Contrastive Disentangling for Generalized Zero-Shot
Learning [25.92340532509084]
Generalized Zero-Shot Learning (GZSL) は、目に見えないクラスと見えないクラスの両方を認識することを目的としている。
本稿では,クラスタベースのContrastive Disentangling(CCD)手法を提案する。
論文 参考訳（メタデータ） (2022-03-05T02:50:12Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-09T08:14:50Z) - Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation [66.85202434812942]
セグメンテーションを意味的再構成問題として再検討する。
基本クラスの特徴を,新しいクラス再構築のためのクラスレベルのセマンティック空間にまたがる一連の基底ベクトルに変換する。
提案手法はアンチエイリアス・セマンティック・リストラクション (ASR) と呼ばれ, 数発の学習問題に対して, 体系的かつ解釈可能な解法を提供する。
論文 参考訳（メタデータ） (2021-06-01T02:17:36Z) - Semantic Borrowing for Generalized Zero-Shot Learning [0.0]
一般化ゼロショット学習(gzsl)は最も現実的な問題の一つだが、最も難しい問題の一つでもある。
インスタンスボローイングメソッドとメソッドは、セマンティクスのテストによってある程度この問題を解決します。
本稿では, セマンティックボローイング(Semantic Borrowing)と呼ばれる, CIII の下での整合性メトリック学習による GZSL 法の改良手法を提案する。
論文 参考訳（メタデータ） (2021-01-30T12:14:28Z) - Entropy-Based Uncertainty Calibration for Generalized Zero-Shot Learning [49.04790688256481]
一般化ゼロショット学習(GZSL)の目的は、目に見えないクラスと見えないクラスの両方を認識することである。
ほとんどのGZSLメソッドは、通常、見えないクラスの意味情報から視覚表現を合成することを学ぶ。
本論文では,三重項損失を持つ2重変分オートエンコーダを利用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-09T05:21:27Z) - Attribute-Induced Bias Eliminating for Transductive Zero-Shot Learning [144.94728981314717]
本稿では,トランスダクティブZSLのためのAttribute-induced Bias Elimination (AIBE)モジュールを提案する。
2つのドメイン間の視覚的バイアスに対して、Mean-Teacherモジュールは2つのドメイン間の視覚的表現の相違をブリッジするために最初に利用される。
注目グラフ属性の埋め込みは、目に見えないカテゴリと見えないカテゴリ間の意味バイアスを減らすために提案される。
最後に、目に見えない領域のセマンティック・視覚的バイアスに対して、目に見えないセマンティックアライメント制約は、教師なしの方法で視覚空間とセマンティック空間を整列するように設計されている。
論文 参考訳（メタデータ） (2020-05-31T02:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。