論文の概要: From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2009.12232v4
• Date: Fri, 21 Jan 2022 12:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 23:07:24.582723
• Title: From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
• Title（参考訳）: ピクセルからパッチへ:ゼロショットセマンティクスセグメンテーションのためのコンテキスト認識機能を合成する
• Authors: Zhangxuan Gu, Siyuan Zhou, Li Niu, Zihan Zhao, Liqing Zhang
• Abstract要約: ゼロショットセマンティックセマンティックセマンティックセマンティクスは,カテゴリレベルのセマンティクスのみを持つ未確認オブジェクトのセマンティクスを目的としたセマンティクスである。 本研究では,コンテキスト認識機能生成ネットワーク(CaGNet)を提案する。 Pascal-VOC, Pascal-Context, COCO-stuff の実験結果から,本手法は既存のゼロショットセマンティックセマンティックセグメンテーション法よりも有意に優れていることが示された。
• 参考スコア（独自算出の注目度）: 22.88452754438478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot learning has been actively studied for image classification task to relieve the burden of annotating image labels. Interestingly, semantic segmentation task requires more labor-intensive pixel-wise annotation, but zero-shot semantic segmentation has only attracted limited research interest. Thus, we focus on zero-shot semantic segmentation, which aims to segment unseen objects with only category-level semantic representations provided for unseen categories. In this paper, we propose a novel Context-aware feature Generation Network (CaGNet), which can synthesize context-aware pixel-wise visual features for unseen categories based on category-level semantic representations and pixel-wise contextual information. The synthesized features are used to finetune the classifier to enable segmenting unseen objects. Furthermore, we extend pixel-wise feature generation and finetuning to patch-wise feature generation and finetuning, which additionally considers inter-pixel relationship. Experimental results on Pascal-VOC, Pascal-Context, and COCO-stuff show that our method significantly outperforms the existing zero-shot semantic segmentation methods. Code is available at https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation.
• Abstract（参考訳）: 画像分類作業において,アノテートラベルの負担を軽減するため,ゼロショット学習を積極的に研究している。 興味深いことに、セマンティックセグメンテーションタスクはより労働集約的なピクセル単位のアノテーションを必要とするが、ゼロショットセマンティックセグメンテーションは限定的な研究関心を集めている。 そこで我々は,未発見のカテゴリに対して提供されるカテゴリレベルの意味表現のみを用いて,未発見のオブジェクトをセグメント化することを目的とした,ゼロショット意味セグメンテーションに着目した。 本稿では,カテゴリレベルのセマンティック表現と画素単位のコンテキスト情報に基づいて,未知のカテゴリに対するコンテキスト対応の視覚的特徴を合成する,コンテキスト対応機能生成ネットワーク(CaGNet)を提案する。 合成された特徴は、分類器を微調整して、見えないオブジェクトをセグメンテーションできるようにするために使用される。 さらに,画素間特徴生成と微調整をパッチ間特徴生成と微調整に拡張し,画素間関係も考慮した。 Pascal-VOC, Pascal-Context, COCO-stuff の実験結果から,本手法は既存のゼロショットセマンティックセマンティックセグメンテーション法よりも優れていた。 コードはhttps://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentationで入手できる。

関連論文リスト

• Learning Semantic Segmentation with Query Points Supervision on Aerial Images [57.09251327650334]
  セマンティックセグメンテーションアルゴリズムを学習するための弱教師付き学習アルゴリズムを提案する。 提案手法は正確なセマンティックセグメンテーションを行い,手作業のアノテーションに要するコストと時間を大幅に削減することで効率を向上する。
  論文  参考訳（メタデータ） (2023-09-11T14:32:04Z)
• Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation [13.001629605405954]
  本研究では, トレーニングサンプルを使わずに, 新規カテゴリのパノプティクス, 例えば, セマンティックセマンティックセマンティックセマンティックセマンティクスを実現するために, ユニバーサルゼロショットセマンティクスについて検討する。 本稿では,意味空間と視覚空間を関連づけた未知のカテゴリの特徴を合成する生成モデルを提案する。 提案手法は、ゼロショットパノプティクスのセグメンテーション、インスタンスセグメンテーション、セマンティックセグメンテーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T17:59:16Z)
• Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
  我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。 提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T08:47:06Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Language-driven Semantic Segmentation [88.21498323896475]
  本稿では,言語駆動型セマンティックイメージセグメンテーションの新しいモデルLSegを提案する。 テキストエンコーダを用いて記述型入力ラベルの埋め込みを計算する。 エンコーダは、画素埋め込みを対応するセマンティッククラスのテキスト埋め込みに合わせるために、対照的な目的で訓練される。
  論文  参考訳（メタデータ） (2022-01-10T18:59:10Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Universal Weakly Supervised Segmentation by Pixel-to-Segment Contrastive Learning [28.498782661888775]
  半教師付きメトリック学習問題として弱教師付きセグメンテーションを定式化する。 特徴空間における画素とセグメント間のコントラスト関係を4種類提案する。 我々はPascal VOCとDensePoseに大きな利益をもたらす、普遍的な弱教師付きセグメンタを提供する。
  論文  参考訳（メタデータ） (2021-05-03T15:49:01Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)
• Context-aware Feature Generation for Zero-shot Semantic Segmentation [18.37777970377439]
  ゼロショットセグメンテーションのためのコンテキスト認識機能生成手法CaGNetを提案する。 提案手法は,ゼロショットセグメンテーションのための3つのベンチマークデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-08-16T12:20:49Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。