論文の概要: Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation

• arxiv url: http://arxiv.org/abs/2204.04655v1
• Date: Sun, 10 Apr 2022 11:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 16:29:34.889383
• Title: Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation
• Title（参考訳）: Panoptic-PartFormer: Panoptic Part Segmentation のための統一モデル学習
• Authors: Xiangtai Li, Shilin Xu, Yibo Yang.Guangliang Cheng, Yunhai Tong, Dacheng Tao
• Abstract要約: Panoptic Part (PPS) は、汎視的セグメンテーションと部分セグメンテーションをひとつのタスクに統合することを目的としている。 そこで我々はPanoptic-PartFormerというエンドツーエンド統合手法を設計した。 私たちのPanoptic-PartFormerは、Cityscapes PPSとPascal Context PPSデータセットの両方で、最先端の新たな結果を実現しています。
• 参考スコア（独自算出の注目度）: 76.9420522112248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic Part Segmentation (PPS) aims to unify panoptic segmentation and part segmentation into one task. Previous work mainly utilizes separated approaches to handle thing, stuff, and part predictions individually without performing any shared computation and task association. In this work, we aim to unify these tasks at the architectural level, designing the first end-to-end unified method named Panoptic-PartFormer. In particular, motivated by the recent progress in Vision Transformer, we model things, stuff, and part as object queries and directly learn to optimize the all three predictions as unified mask prediction and classification problem. We design a decoupled decoder to generate part feature and thing/stuff feature respectively. Then we propose to utilize all the queries and corresponding features to perform reasoning jointly and iteratively. The final mask can be obtained via inner product between queries and the corresponding features. The extensive ablation studies and analysis prove the effectiveness of our framework. Our Panoptic-PartFormer achieves the new state-of-the-art results on both Cityscapes PPS and Pascal Context PPS datasets with at least 70% GFlops and 50% parameters decrease. In particular, we get 3.4% relative improvements with ResNet50 backbone and 10% improvements after adopting Swin Transformer on Pascal Context PPS dataset. To the best of our knowledge, we are the first to solve the PPS problem via \textit{a unified and end-to-end transformer model. Given its effectiveness and conceptual simplicity, we hope our Panoptic-PartFormer can serve as a good baseline and aid future unified research for PPS. Our code and models will be available at https://github.com/lxtGH/Panoptic-PartFormer.
• Abstract（参考訳）: panoptic part segmentation (pps) は、panoptic segmentationとpart segmentationを1つのタスクに統合することを目的としている。 従来の作業では、主に分離したアプローチを使用して、共有計算やタスクアソシエーションを行なわずに、個別に処理、処理、部分予測を行います。 本研究は,Panoptic-PartFormerというエンドツーエンド統合手法を設計し,これらのタスクをアーキテクチャレベルで統一することを目的とする。 特に、視覚トランスフォーマーの最近の進歩に動機づけられ、物、物、部品をオブジェクトクエリとしてモデル化し、3つの予測すべてを統一マスク予測と分類問題として最適化するために直接学習します。 分離されたデコーダを設計し,それぞれ部分特徴とモノ/スタッフ特徴を生成する。 次に,全ての問合せと対応する特徴を活用して,協調的かつ反復的に推論を行うことを提案する。 最終的なマスクは、クエリと対応する特徴の間の内部積を介して取得することができる。 広範なアブレーション研究と分析により,本手法の有効性が証明された。 私たちのPanoptic-PartFormerは、少なくとも70%のGFlopsと50%のパラメータが減少するCityscapes PPSとPascal Context PPSデータセットの両方で、最先端の成果を達成する。 特に、Pascal Context PPSデータセットにSwin Transformerを採用したことで、ResNet50のバックボーンが3.4%改善され、10%改善されました。 最善の知識として、我々は \textit{a unified and end-to-end transformerモデルを通じてpps問題を解決する最初の人物です。 その有効性と概念的単純さを考えると、我々のpanoptic-partformerは良いベースラインとなり、ppsの将来の統一研究に役立つことを願っています。 私たちのコードとモデルはhttps://github.com/lxtgh/panoptic-partformerで利用可能です。

関連論文リスト

• Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations [2.087148326341881]
  PPS(Part-Aware Panoptic segmentation)は、画像内の各前景オブジェクトと背景領域がセグメント化され分類され、(b)前景オブジェクト内のすべての部分がセグメント化され、分類され、親オブジェクトにリンクされることを要求する。 既存の手法は、オブジェクトレベルと部分レベルのセグメンテーションを別々に実施することでPSSにアプローチする。 タスク対応部分アライメントパン光学(TAPPS)を提案する。 TAPPSは、個々の親オブジェクトに関連付けられた部分レベルのセグメントを予測し、学習目標をタスク目標と整合させ、TAPPSが共同オブジェクト-部分表現を活用できるようにする。
  論文  参考訳（メタデータ） (2024-06-14T15:20:46Z)
• JPPF: Multi-task Fusion for Consistent Panoptic-Part Segmentation [12.19926973291957]
  パーシャル・アウェア・パノプティック・セグメンテーション(Part-Aware Panoptic segmentation)は、複数のレベルの粒度でシーンの意味的理解を提供することを目的としたコンピュータビジョンの問題である。 本研究は,3つの分割を効果的に組み合わせてパン光学部分分割を得るJPPF(Joint Panoptic Part Fusion)について述べる。
  論文  参考訳（メタデータ） (2023-11-30T15:17:46Z)
• You Only Segment Once: Towards Real-Time Panoptic Segmentation [68.91492389185744]
  YOSOはリアルタイムのパン光学セグメンテーションフレームワークである。 YOSOは、パン光学カーネルと画像特徴マップの間の動的畳み込みを通じてマスクを予測する。 YOSOは、COCOで46.4 PQ、45.6 FPS、都市景観で52.5 PQ、22.6 FPS、ADE20Kで38.0 PQ、35.4 FPSを達成している。
  論文  参考訳（メタデータ） (2023-03-26T07:55:35Z)
• Position-Guided Point Cloud Panoptic Segmentation Transformer [118.17651196656178]
  この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。 スパース点雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの外観が欠如している。 position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、Semantic KITTI と nuScenes のベンチマークでそれぞれ3.4%、そして 1.2%の性能をそれぞれ上回っている。
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation [153.76253697804225]
  Panoptic Part (PPS) は、パノプティクスと部分分割をひとつのタスクに統合する。 最初のエンドツーエンド統合フレームワークであるPanoptic-PartFormerを設計する。 私たちのモデルは強力なベースラインとして機能し、PSの将来の研究を支援することができます。
  論文  参考訳（メタデータ） (2023-01-03T05:30:56Z)
• Multi-task Fusion for Efficient Panoptic-Part Segmentation [12.650574326251023]
  本稿では,共有エンコーダを用いて意味,例,部分のセグメンテーションを生成する新しいネットワークを提案する。 3つの頭部の予測を効率的に融合させるため,パラメータフリーのジョイント・フュージョン・モジュールを導入する。 本手法は,Cityscapes Panoptic Parts (CPP) と Pascal Panoptic Parts (PPP) のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-12-15T09:04:45Z)
• Fashionformer: A simple, Effective and Unified Baseline for Human Fashion Segmentation and Recognition [80.74495836502919]
  本研究では,共同ファッションセグメンテーションと属性認識に着目した。 本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。 属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
  論文  参考訳（メタデータ） (2022-04-10T11:11:10Z)
• Fully Convolutional Networks for Panoptic Segmentation [91.84686839549488]
  そこで我々は,Panoptic FCNという概念的,シンプルで,強力で,効率的なパノプティックセグメンテーションフレームワークを提案する。 我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。 Panoptic FCNは、提案されたカーネルジェネレータで、各オブジェクトインスタンスまたは物カテゴリを特定のカーネル重みにエンコードする。
  論文  参考訳（メタデータ） (2020-12-01T18:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。