論文の概要: Panoptic, Instance and Semantic Relations: A Relational Context Encoder
to Enhance Panoptic Segmentation
- arxiv url: http://arxiv.org/abs/2204.05370v1
- Date: Mon, 11 Apr 2022 19:15:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-14 06:56:54.975099
- Title: Panoptic, Instance and Semantic Relations: A Relational Context Encoder
to Enhance Panoptic Segmentation
- Title（参考訳）: panoptic, instance and semantic relations: panoptic segmentationを強化する関係コンテキストエンコーダ
- Authors: Shubhankar Borse, Hyojin Park, Hong Cai, Debasmit Das, Risheek
Garrepalli, Fatih Porikli
- Abstract要約: このようなコンテキストを活用するために,Panoptic, Instance, and Semantic Relations (PISR) モジュールを提案する。
まず、セマンティッククラスと予測インスタンスの重要な特徴を要約するために、汎光学符号化を生成する。
その後、Panoptic Attention (PRA)モジュールが、バックボーンからエンコーディングとグローバルフィーチャーマップに適用される。
PISRはまた、より重要なインスタンスに焦点を当てることを自動的に学び、リレーショナルアテンションモジュールで使用されるインスタンスの数に対して堅牢になる。
- 参考スコア（独自算出の注目度）: 45.89461725594674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a novel framework to integrate both semantic and instance
contexts for panoptic segmentation. In existing works, it is common to use a
shared backbone to extract features for both things (countable classes such as
vehicles) and stuff (uncountable classes such as roads). This, however, fails
to capture the rich relations among them, which can be utilized to enhance
visual understanding and segmentation performance. To address this shortcoming,
we propose a novel Panoptic, Instance, and Semantic Relations (PISR) module to
exploit such contexts. First, we generate panoptic encodings to summarize key
features of the semantic classes and predicted instances. A Panoptic Relational
Attention (PRA) module is then applied to the encodings and the global feature
map from the backbone. It produces a feature map that captures 1) the relations
across semantic classes and instances and 2) the relations between these
panoptic categories and spatial features. PISR also automatically learns to
focus on the more important instances, making it robust to the number of
instances used in the relational attention module. Moreover, PISR is a general
module that can be applied to any existing panoptic segmentation architecture.
Through extensive evaluations on panoptic segmentation benchmarks like
Cityscapes, COCO, and ADE20K, we show that PISR attains considerable
improvements over existing approaches.
- Abstract（参考訳）: 本稿では,汎視的セグメンテーションのためのセマンティックコンテキストとインスタンスコンテキストを統合する新しいフレームワークを提案する。
既存の作業では、共有バックボーンを使用して(車両などの可算クラス)と(道路のような非可算クラス)の両方の特徴を抽出することが一般的である。
しかし、この手法は、視覚的理解とセグメンテーション性能を高めるために使用できる、それらの間のリッチな関係を捉えることができない。
この欠点に対処するために,このようなコンテキストを活用するための新しいPanoptic, Instance, and Semantic Relations (PISR) モジュールを提案する。
まず、意味クラスと予測インスタンスの重要な特徴を要約するために、panopticエンコーディングを生成します。
その後、Panoptic Relational Attention (PRA)モジュールが、背骨からのエンコーディングとグローバルな特徴マップに適用される。
キャプチャーするフィーチャーマップを生成する
1)意味クラスとインスタンス間の関係
2)これらの汎視圏と空間的特徴の関係。
さらにpisrは、より重要なインスタンスにフォーカスするように自動的に学習し、リレーショナルアテンションモジュールで使われるインスタンスの数に堅牢になる。
さらに、PISRは、既存の任意の汎視的セグメンテーションアーキテクチャに適用できる一般的なモジュールである。
Cityscapes、COCO、ADE20Kといった汎視的セグメンテーションベンチマークの広範な評価を通じて、PISRは既存のアプローチよりも大幅に改善されていることを示す。
関連論文リスト
- Embedding Generalized Semantic Knowledge into Few-Shot Remote Sensing Segmentation [26.542268630980814]
リモートセンシング(RS)画像のためのFew-shot segmentation (FSS)は、限られた注釈付きサンプルからのサポート情報を活用して、新しいクラスのクエリセグメンテーションを実現する。
従来の取り組みは、制約された支援サンプルの集合からセグメント化を導く視覚的手がかりをマイニングすることに集中している。
本稿では,一般的な意味知識を効果的に活用する全体論的意味埋め込み(HSE)手法を提案する。
論文 参考訳（メタデータ） (2024-05-22T14:26:04Z) - Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳（メタデータ） (2024-03-02T10:03:21Z) - Hierarchical Open-vocabulary Universal Image Segmentation [48.008887320870244]
Open-vocabulary Image segmentationは、任意のテキスト記述に従ってイメージをセマンティック領域に分割することを目的としている。
我々は,「モノ」と「スタッフ」の双方に対して,分離されたテキストイメージ融合機構と表現学習モジュールを提案する。
HIPIE tackles, HIerarchical, oPen-vocabulary, unIvErsal segmentation task in a unified framework。
論文 参考訳（メタデータ） (2023-07-03T06:02:15Z) - Primitive Generation and Semantic-related Alignment for Universal
Zero-Shot Segmentation [13.001629605405954]
本研究では, トレーニングサンプルを使わずに, 新規カテゴリのパノプティクス, 例えば, セマンティックセマンティックセマンティックセマンティックセマンティクスを実現するために, ユニバーサルゼロショットセマンティクスについて検討する。
本稿では,意味空間と視覚空間を関連づけた未知のカテゴリの特徴を合成する生成モデルを提案する。
提案手法は、ゼロショットパノプティクスのセグメンテーション、インスタンスセグメンテーション、セマンティックセグメンテーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-19T17:59:16Z) - Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly
Supervised Semantic Segmentation [66.87777732230884]
本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。
また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
論文 参考訳（メタデータ） (2022-06-20T03:40:56Z) - Semantic Disentangling Generalized Zero-Shot Learning [50.259058462272435]
Generalized Zero-Shot Learning (GZSL)は、目に見えないカテゴリと見えないカテゴリの両方から画像を認識することを目的としている。
本稿では,エンコーダ・デコーダアーキテクチャに基づく新しい特徴分割手法を提案する。
提案モデルは,視像の固有特徴をキャプチャする品質意味一貫性表現を蒸留することを目的としている。
論文 参考訳（メタデータ） (2021-01-20T05:46:21Z) - Single-shot Path Integrated Panoptic Segmentation [32.07581018322105]
本稿では,実行フローを統合することで,単ショットでのパノプティクスのセグメンテーションを解決することを提案する。
Panoptic-Featureと呼ばれる統合された機能マップが生成される。
トップダウンとボトムアップの両方のアプローチの利点を生かして、SPINetと呼ばれる手法は、主要な汎視的セグメンテーションベンチマークにおいて高い効率と精度を享受する。
論文 参考訳（メタデータ） (2020-12-03T01:50:30Z) - Auto-Panoptic: Cooperative Multi-Component Architecture Search for
Panoptic Segmentation [144.50154657257605]
本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。
検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
論文 参考訳（メタデータ） (2020-10-30T08:34:35Z) - Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
論文 参考訳（メタデータ） (2020-04-14T02:32:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。