論文の概要: PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation

• arxiv url: http://arxiv.org/abs/2301.00954v3
• Date: Wed, 22 Mar 2023 04:27:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 00:51:57.377446
• Title: PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation
• Title（参考訳）: PanopticPartFormer++: Panoptic Part Segmentationの統一された分離ビュー
• Authors: Xiangtai Li, Shilin Xu, Yibo Yang, Haobo Yuan, Guangliang Cheng, Yunhai Tong, Zhouchen Lin, Ming-Hsuan Yang, Dacheng Tao
• Abstract要約: Panoptic Part (PPS) は、パノプティクスと部分分割をひとつのタスクに統合する。 最初のエンドツーエンド統合フレームワークであるPanoptic-PartFormerを設計する。 私たちのモデルは強力なベースラインとして機能し、PSの将来の研究を支援することができます。
• 参考スコア（独自算出の注目度）: 152.66484428389364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic Part Segmentation (PPS) unifies panoptic and part segmentation into one task. Previous works utilize separate approaches to handle things, stuff, and part predictions without shared computation and task association. We aim to unify these tasks at the architectural level, designing the first end-to-end unified framework, Panoptic-PartFormer. Moreover, we find the previous metric PartPQ biases to PQ. To handle both issues, we first design a meta-architecture that decouples part features and things/stuff features, respectively. We model things, stuff, and parts as object queries and directly learn to optimize all three forms of prediction as a unified mask prediction and classification problem. We term our model as Panoptic-PartFormer. Second, we propose a new metric Part-Whole Quality (PWQ), better to measure this task from pixel-region and part-whole perspectives. It also decouples the errors for part segmentation and panoptic segmentation. Third, inspired by Mask2Former, based on our meta-architecture, we propose Panoptic-PartFormer++ and design a new part-whole cross-attention scheme to boost part segmentation qualities further. We design a new part-whole interaction method using masked cross attention. Finally, extensive ablation studies and analysis demonstrate the effectiveness of both Panoptic-PartFormer and Panoptic-PartFormer++. Compared with previous Panoptic-PartFormer, our Panoptic-PartFormer++ achieves 2% PartPQ and 3% PWQ improvements on the Cityscapes PPS dataset and 5% PartPQ on the Pascal Context PPS dataset. On both datasets, Panoptic-PartFormer++ achieves new state-of-the-art results. Our models can serve as a strong baseline and aid future research in PPS. The source code and trained models will be available at~\url{https://github.com/lxtGH/Panoptic-PartFormer}.
• Abstract（参考訳）: Panoptic Part Segmentation (PPS)は、パノプティクスとパートセグメンテーションをひとつのタスクに統合する。 以前の作業では、共有計算やタスクアソシエーションを必要とせず、物、物、部品の予測を扱うための別のアプローチが使用されている。 アーキテクチャレベルでこれらのタスクを統一し、最初のエンドツーエンド統合フレームワークであるPanoptic-PartFormerを設計することを目指しています。 さらに、以前の測定値PartPQはPQに偏っている。 両方の問題に対処するために、私たちはまず、機能の一部を分離するメタアーキテクチャを設計します。 私たちはオブジェクトクエリとして物、物、部品をモデル化し、マスクの予測と分類の統一的な問題として3種類の予測を最適化する直接学習します。 私たちはこのモデルをPanoptic-PartFormerと呼びます。 第2に,この課題をピクセル領域とパートwholeの観点からよりよく測定できる,新しい測定値であるpwqを提案する。 また、部分セグメンテーションとpanopticセグメンテーションのエラーを分離する。 第3に,mask2formerにインスパイアされたメタアーキテクチャに基づいて,panoptic-partformer++を提案し,パートセグメンテーション品質をさらに高めるために,パートwhole cross-attentionスキームを新たに設計する。 マスク付きクロスアテンションを用いた新しいパートホールインタラクション手法を設計する。 最後に,Panoptic-PartFormerおよびPanoptic-PartFormer++の有効性について検討した。 以前のPanoptic-PartFormerと比較して、Panoptic-PartFormer++は、Cityscapes PPSデータセットの2% PartPQと3% PWQの改善、Pascal Context PPSデータセットの5% PartPQを実現しています。 両方のデータセット上で、Panoptic-PartFormer++は、新しい最先端の結果を達成する。 私たちのモデルは強力なベースラインとなり、ppsにおける将来の研究を支援することができます。 ソースコードとトレーニングされたモデルは、~\url{https://github.com/lxtGH/Panoptic-PartFormer}で入手できる。

関連論文リスト

• Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations [2.087148326341881]
  PPS(Part-Aware Panoptic segmentation)は、画像内の各前景オブジェクトと背景領域がセグメント化され分類され、(b)前景オブジェクト内のすべての部分がセグメント化され、分類され、親オブジェクトにリンクされることを要求する。 既存の手法は、オブジェクトレベルと部分レベルのセグメンテーションを別々に実施することでPSSにアプローチする。 タスク対応部分アライメントパン光学(TAPPS)を提案する。 TAPPSは、個々の親オブジェクトに関連付けられた部分レベルのセグメントを予測し、学習目標をタスク目標と整合させ、TAPPSが共同オブジェクト-部分表現を活用できるようにする。
  論文  参考訳（メタデータ） (2024-06-14T15:20:46Z)
• JPPF: Multi-task Fusion for Consistent Panoptic-Part Segmentation [12.19926973291957]
  パーシャル・アウェア・パノプティック・セグメンテーション(Part-Aware Panoptic segmentation)は、複数のレベルの粒度でシーンの意味的理解を提供することを目的としたコンピュータビジョンの問題である。 本研究は,3つの分割を効果的に組み合わせてパン光学部分分割を得るJPPF(Joint Panoptic Part Fusion)について述べる。
  論文  参考訳（メタデータ） (2023-11-30T15:17:46Z)
• You Only Segment Once: Towards Real-Time Panoptic Segmentation [68.91492389185744]
  YOSOはリアルタイムのパン光学セグメンテーションフレームワークである。 YOSOは、パン光学カーネルと画像特徴マップの間の動的畳み込みを通じてマスクを予測する。 YOSOは、COCOで46.4 PQ、45.6 FPS、都市景観で52.5 PQ、22.6 FPS、ADE20Kで38.0 PQ、35.4 FPSを達成している。
  論文  参考訳（メタデータ） (2023-03-26T07:55:35Z)
• Position-Guided Point Cloud Panoptic Segmentation Transformer [118.17651196656178]
  この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。 スパース点雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの外観が欠如している。 position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、Semantic KITTI と nuScenes のベンチマークでそれぞれ3.4%、そして 1.2%の性能をそれぞれ上回っている。
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Multi-task Fusion for Efficient Panoptic-Part Segmentation [12.650574326251023]
  本稿では,共有エンコーダを用いて意味,例,部分のセグメンテーションを生成する新しいネットワークを提案する。 3つの頭部の予測を効率的に融合させるため,パラメータフリーのジョイント・フュージョン・モジュールを導入する。 本手法は,Cityscapes Panoptic Parts (CPP) と Pascal Panoptic Parts (PPP) のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-12-15T09:04:45Z)
• Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation [76.9420522112248]
  Panoptic Part (PPS) は、汎視的セグメンテーションと部分セグメンテーションをひとつのタスクに統合することを目的としている。 そこで我々はPanoptic-PartFormerというエンドツーエンド統合手法を設計した。 私たちのPanoptic-PartFormerは、Cityscapes PPSとPascal Context PPSデータセットの両方で、最先端の新たな結果を実現しています。
  論文  参考訳（メタデータ） (2022-04-10T11:16:45Z)
• PolyphonicFormer: Unified Query Learning for Depth-aware Video Panoptic Segmentation [90.26723865198348]
  DVPSタスクで全てのサブタスクを統一する視覚変換器であるPolyphonicFormerを提案する。 提案手法は,問合せ学習による深度推定とパノプティックセグメンテーションの関係について検討する。 ICCV-2021 BMTT Challenge video + depth trackで1位にランクインした。
  論文  参考訳（メタデータ） (2021-12-05T14:31:47Z)
• Part-aware Panoptic Segmentation [3.342126234995932]
  Part-Aware Panoptic (PPS)は、複数の抽象化レベルでシーンを理解することを目的としている。 一般的に使われている2つのデータセット、CityscapesとPascal VOCに一貫したアノテーションを提供します。 パートアウェア・パノプティクス(Part-Aware Panoptic Quality, PartPQ)と呼ばれるPSSを評価するための単一の指標を提案する。
  論文  参考訳（メタデータ） (2021-06-11T12:48:07Z)
• Video Panoptic Segmentation [117.08520543864054]
  我々は,ビデオパノプティクスセグメンテーションと呼ばれる,このタスクの新たな拡張手法を提案し,検討する。 この新しいタスクの研究を活性化するために,2種類のビデオパノプティクスデータセットを提示する。 本稿では,ビデオフレーム内のオブジェクトクラス,バウンディングボックス,マスク,インスタンスID追跡,セマンティックセマンティックセマンティックセマンティックセマンティクスを共同で予測する新しいビデオパノプティックセマンティクスネットワーク(VPSNet)を提案する。
  論文  参考訳（メタデータ） (2020-06-19T19:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。