論文の概要: Fully Convolutional Networks for Panoptic Segmentation with Point-based Supervision

• arxiv url: http://arxiv.org/abs/2108.07682v2
• Date: Wed, 18 Aug 2021 02:15:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 11:23:54.831982
• Title: Fully Convolutional Networks for Panoptic Segmentation with Point-based Supervision
• Title（参考訳）: 点に基づく教師付きパンオプティカルセグメンテーションのための完全畳み込みネットワーク
• Authors: Yanwei Li, Hengshuang Zhao, Xiaojuan Qi, Yukang Chen, Lu Qi, Liwei Wang, Zeming Li, Jian Sun, Jiaya Jia
• Abstract要約: そこで我々は,Panoptic FCNと呼ばれる,完全かつ弱教師付きパノプティカルセグメンテーションのための,概念的にシンプルで強力で効率的なフレームワークを提案する。 我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。 Panoptic FCNは、提案したカーネルジェネレータで各オブジェクトのインスタンスやもののカテゴリをエンコードし、高解像度の機能を直接変換することで予測を生成する。
• 参考スコア（独自算出の注目度）: 88.71403886207071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a conceptually simple, strong, and efficient framework for fully- and weakly-supervised panoptic segmentation, called Panoptic FCN. Our approach aims to represent and predict foreground things and background stuff in a unified fully convolutional pipeline, which can be optimized with point-based fully or weak supervision. In particular, Panoptic FCN encodes each object instance or stuff category with the proposed kernel generator and produces the prediction by convolving the high-resolution feature directly. With this approach, instance-aware and semantically consistent properties for things and stuff can be respectively satisfied in a simple generate-kernel-then-segment workflow. Without extra boxes for localization or instance separation, the proposed approach outperforms the previous box-based and -free models with high efficiency. Furthermore, we propose a new form of point-based annotation for weakly-supervised panoptic segmentation. It only needs several random points for both things and stuff, which dramatically reduces the annotation cost of human. The proposed Panoptic FCN is also proved to have much superior performance in this weakly-supervised setting, which achieves 82% of the fully-supervised performance with only 20 randomly annotated points per instance. Extensive experiments demonstrate the effectiveness and efficiency of Panoptic FCN on COCO, VOC 2012, Cityscapes, and Mapillary Vistas datasets. And it sets up a new leading benchmark for both fully- and weakly-supervised panoptic segmentation. Our code and models are made publicly available at https://github.com/dvlab-research/PanopticFCN
• Abstract（参考訳）: 本稿では,Panoptic FCNと呼ばれる,完全かつ弱教師付きパノプティカルセグメンテーションのための概念的,シンプルで,強力で,効率的なフレームワークを提案する。 当社のアプローチは,ポイントベースの完全あるいは弱い監視で最適化可能な,統一的な畳み込みパイプラインで,フォアグラウンドやバックグラウンドを表現および予測することを目的としています。 特に、Panoptic FCNは、提案したカーネルジェネレータに各オブジェクトインスタンスまたは物カテゴリをエンコードし、高解像度の機能を直接変換することで予測を生成する。 このアプローチでは、インスタンス認識と、物や物のセマンティクス的に一貫した特性は、単純な生成-カーネル-セグメンテーションワークフローでそれぞれ満足できます。 ローカライズやインスタンス分離のための余分なボックスがなければ、提案手法は、以前のboxベースおよび-freeモデルよりも効率が良い。 さらに,弱教師付きパンオプティカルセグメンテーションのための点に基づく新しいアノテーションを提案する。 物と物の両方にランダムなポイントしか必要とせず、人間のアノテーションコストを大幅に削減します。 提案されたPanoptic FCNは、この弱教師付きセッティングにおいて非常に優れた性能を示しており、1インスタンスあたり20の無作為なアノテートポイントしか持たない完全教師付き性能の82%を達成している。 大規模な実験では、COCO、VOC 2012、Cityscapes、Mapillary Vistasデータセットに対するPanoptic FCNの有効性と効率が示されている。 また、完全な教師付きpanopticセグメンテーションと弱い教師付きpanopticセグメンテーションの両方のための新しいリードベンチマークも設定している。 私たちのコードとモデルはhttps://github.com/dvlab-research/PanopticFCNで公開されています。

関連論文リスト

• Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
  E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。 パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。 E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-15T03:08:25Z)
• Pointly-Supervised Panoptic Segmentation [106.68888377104886]
  弱教師付き単眼セグメンテーションにポイントレベルのアノテーションを適用するための新しい手法を提案する。 完全に教師された方法で使用される高密度のピクセルレベルラベルの代わりに、ポイントレベルラベルは、監督対象ごとに単一のポイントしか提供しない。 我々は、ポイントレベルのラベルから同時に汎視的擬似マスクを生成し、それらから学習することで、エンドツーエンドのフレームワークにおける問題を定式化する。
  論文  参考訳（メタデータ） (2022-10-25T12:03:51Z)
• Affinity Attention Graph Neural Network for Weakly Supervised Semantic Segmentation [86.44301443789763]
  弱教師付きセマンティックセグメンテーションのための親和性注意グラフニューラルネットワーク(A2$GNN)を提案する。 提案手法は,Pascal VOC 2012データセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-06-08T02:19:21Z)
• Exemplar-Based Open-Set Panoptic Segmentation Network [79.99748041746592]
  我々は、オープンワールドにパン光学セグメンテーションを拡張し、オープンセットのパン光学セグメンテーション(OPS)タスクを導入する。 本研究では,タスクの実践的課題を調査し,既存のデータセットであるCOCO上にベンチマークを構築する。 本稿では,エスペクティブ理論に着想を得た,エスペクティブ・ベース・オープン・セット・パノプティブ・セグメンテーション・ネットワーク(EOPSN)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T07:59:21Z)
• Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation [21.296942497092402]
  我々は、Panoptic-PolarNetと呼ばれる高速で堅牢なLiDARポイントクラウドパノラマセグメンテーションフレームワークを提示します。 ポーラバードのアイビュー表現を用いて,セマンティックセグメンテーションとクラス非依存のインスタンスクラスタリングの両方を単一推論ネットワークで学習する。 実験の結果,Panoptic-PolarNetは,Semantic KITTIおよびnuScenesデータセットのベースライン手法をほぼリアルタイムな推論速度で上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-27T18:31:40Z)
• Fully Convolutional Networks for Panoptic Segmentation [91.84686839549488]
  そこで我々は,Panoptic FCNという概念的,シンプルで,強力で,効率的なパノプティックセグメンテーションフレームワークを提案する。 我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。 Panoptic FCNは、提案されたカーネルジェネレータで、各オブジェクトインスタンスまたは物カテゴリを特定のカーネル重みにエンコードする。
  論文  参考訳（メタデータ） (2020-12-01T18:31:41Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• Towards Bounding-Box Free Panoptic Segmentation [16.4548904544277]
  パン光学セグメンテーションのための新しいBunding-Box Free Network (BBFNet) を提案する。 BBFNetは、粗い流域レベルを予測し、境界が適切に定義された大きなインスタンス候補を検出するためにそれらを使用する。 境界が信頼性の低い小さなインスタンスでは、BBFNetはHoughの投票によってインスタンス中心を予測し、続いて平均シフトによって小さなオブジェクトを確実に検出する。
  論文  参考訳（メタデータ） (2020-02-18T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。