論文の概要: Bidirectional Graph Reasoning Network for Panoptic Segmentation
- arxiv url: http://arxiv.org/abs/2004.06272v1
- Date: Tue, 14 Apr 2020 02:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 09:22:55.292331
- Title: Bidirectional Graph Reasoning Network for Panoptic Segmentation
- Title（参考訳）: 双方向グラフ推論ネットワークによるパノプティカルセグメンテーション
- Authors: Yangxin Wu, Gengwei Zhang, Yiming Gao, Xiajun Deng, Ke Gong, Xiaodan
Liang, Liang Lin
- Abstract要約: 本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
- 参考スコア（独自算出の注目度）: 126.06251745669107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent researches on panoptic segmentation resort to a single end-to-end
network to combine the tasks of instance segmentation and semantic
segmentation. However, prior models only unified the two related tasks at the
architectural level via a multi-branch scheme or revealed the underlying
correlation between them by unidirectional feature fusion, which disregards the
explicit semantic and co-occurrence relations among objects and background.
Inspired by the fact that context information is critical to recognize and
localize the objects, and inclusive object details are significant to parse the
background scene, we thus investigate on explicitly modeling the correlations
between object and background to achieve a holistic understanding of an image
in the panoptic segmentation task. We introduce a Bidirectional Graph Reasoning
Network (BGRNet), which incorporates graph structure into the conventional
panoptic segmentation network to mine the intra-modular and intermodular
relations within and between foreground things and background stuff classes. In
particular, BGRNet first constructs image-specific graphs in both instance and
semantic segmentation branches that enable flexible reasoning at the proposal
level and class level, respectively. To establish the correlations between
separate branches and fully leverage the complementary relations between things
and stuff, we propose a Bidirectional Graph Connection Module to diffuse
information across branches in a learnable fashion. Experimental results
demonstrate the superiority of our BGRNet that achieves the new
state-of-the-art performance on challenging COCO and ADE20K panoptic
segmentation benchmarks.
- Abstract（参考訳）: 最近の汎視的セグメンテーションの研究は、単一のエンドツーエンドネットワークを利用して、インスタンスセグメンテーションとセマンティックセグメンテーションのタスクを組み合わせる。
しかし、先行モデルは、マルチブランチスキームを通じてアーキテクチャレベルでの2つの関連するタスクを統一するか、一方向の特徴融合によってそれら間の基盤となる相関を明らかにした。
文脈情報が物体の認識とローカライズに不可欠であること、および包括的対象の詳細が背景シーンを解析するのに重要であることに着想を得て、対象と背景の相関を明示的にモデル化し、汎視的セグメンテーションタスクにおける画像の総合的な理解を達成する。
本稿では,BGRNet (Bidirectional Graph Reasoning Network) を導入し,グラフ構造を従来の汎視的セグメンテーションネットワークに組み込んで,前景物と背景物間のモジュラー内およびモジュラー間関係をマイニングする。
特に、BGRNetは、まずインスタンスとセマンティックセグメンテーションの両方で画像固有のグラフを構築し、それぞれ提案レベルとクラスレベルで柔軟な推論を可能にする。
分岐間の相関関係の確立と,物と物の相補関係の完全活用を目的として,学習可能な方法で分岐間で情報を拡散する双方向グラフ接続モジュールを提案する。
実験結果から,COCOとADE20Kのパノプティクスセグメンテーションベンチマークに対する最先端性能を実現するBGRNetの優位性を実証した。
関連論文リスト
- Towards Deeply Unified Depth-aware Panoptic Segmentation with
Bi-directional Guidance Learning [63.63516124646916]
深度認識型パノプティックセグメンテーションのためのフレームワークを提案する。
本稿では,クロスタスク機能学習を容易にする双方向指導学習手法を提案する。
本手法は,Cityscapes-DVPS と SemKITTI-DVPS の両データセットを用いた深度認識型パノプティックセグメンテーションのための新しい手法である。
論文 参考訳（メタデータ） (2023-07-27T11:28:33Z) - ConstGCN: Constrained Transmission-based Graph Convolutional Networks
for Document-level Relation Extraction [24.970508961370548]
グラフニューラルネットワークによる文書レベルの関係抽出は、トレーニングと推論の基本的なグラフ構築ギャップに直面している。
本稿では,知識に基づく情報伝達を行う新しいグラフ畳み込みネットワークである$textbfConstGCN$を提案する。
実験の結果,本手法はDocREデータセットに対する従来のSOTA(State-of-the-art)アプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-10-08T07:36:04Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳（メタデータ） (2022-07-18T09:20:04Z) - Tackling the Challenges in Scene Graph Generation with Local-to-Global
Interactions [4.726777092009554]
SGG(Scene Graph Generation)タスクの根底にある課題に対する新たな洞察を求めている。
この分析に触発され、我々は新しいSGGフレームワークLOGIN(LoGIN)を設計した。
本フレームワークは,シーングラフを設計により局所的・言語的に予測し,相補性を生かした。
論文 参考訳（メタデータ） (2021-06-16T03:58:21Z) - SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from
Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。
次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。
私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文 参考訳（メタデータ） (2021-01-19T02:41:03Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳（メタデータ） (2020-11-10T04:28:11Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。