論文の概要: PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation

• arxiv url: http://arxiv.org/abs/2301.00954v1
• Date: Tue, 3 Jan 2023 05:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 14:30:28.714384
• Title: PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation
• Title（参考訳）: PanopticPartFormer++: Panoptic Part Segmentationの統一された分離ビュー
• Authors: Xiangtai Li, Shilin Xu, Yibo Yang, Haobo Yuan, Guangliang Cheng, Yunhai Tong, Zhouchen Lin, Dacheng Tao
• Abstract要約: Panoptic Part (PPS)は、パノプティクスのセグメンテーションと部分セグメンテーションを1つのタスクに統合する。 私たちはこれらのタスクをアーキテクチャレベルで統一し、Panoptic-PartFormerという最初のエンドツーエンド統合フレームワークを設計することを目指しています。
• 参考スコア（独自算出の注目度）: 116.39376378567741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic Part Segmentation (PPS) unifies panoptic segmentation and part segmentation into one task. Previous works utilize separated approaches to handle thing, stuff, and part predictions without shared computation and task association. We aim to unify these tasks at the architectural level, designing the first end-to-end unified framework named Panoptic-PartFormer. Moreover, we find the previous metric PartPQ biases to PQ. To handle both issues, we make the following contributions: Firstly, we design a meta-architecture that decouples part feature and things/stuff feature, respectively. We model things, stuff, and parts as object queries and directly learn to optimize all three forms of prediction as a unified mask prediction and classification problem. We term our model as Panoptic-PartFormer. Secondly, we propose a new metric Part-Whole Quality (PWQ) to better measure such task from both pixel-region and part-whole perspectives. It can also decouple the error for part segmentation and panoptic segmentation. Thirdly, inspired by Mask2Former, based on our meta-architecture, we propose Panoptic-PartFormer++ and design a new part-whole cross attention scheme to further boost part segmentation qualities. We design a new part-whole interaction method using masked cross attention. Finally, the extensive ablation studies and analysis demonstrate the effectiveness of both Panoptic-PartFormer and Panoptic-PartFormer++. Compared with previous Panoptic-PartFormer, our Panoptic-PartFormer++ achieves 2% PartPQ and 3% PWQ improvements on the Cityscapes PPS dataset and 5% PartPQ on the Pascal Context PPS dataset. On both datasets, Panoptic-PartFormer++ achieves new state-of-the-art results with a significant cost drop of 70% on GFlops and 50% on parameters. Our models can serve as a strong baseline and aid future research in PPS. Code will be available.
• Abstract（参考訳）: panoptic part segmentation (pps)は、panoptic segmentationとpart segmentationを1つのタスクに統合する。 以前の作業では、分離されたアプローチを使用して、共有計算やタスク関連のないもの、もの、部分予測を扱っていた。 私たちはこれらのタスクをアーキテクチャレベルで統一し、Panoptic-PartFormerという最初のエンドツーエンド統合フレームワークを設計することを目指しています。 さらに、以前の測定値PartPQはPQに偏っている。 まず、パーツ機能と things/stuff 機能を分離するメタアーキテクチャを設計します。 私たちはオブジェクトクエリとして物、物、部品をモデル化し、マスクの予測と分類の統一的な問題として3種類の予測を最適化する直接学習します。 私たちはこのモデルをPanoptic-PartFormerと呼びます。 第2に,画素領域とパートwhole視点の両方からこれらのタスクをよりよく測定するための,新しい計量部分whole quality(pwq)を提案する。 部分セグメンテーションとpanopticセグメンテーションのエラーを分離することもできる。 第3に,mask2formerに触発され,我々のメタアーキテクチャに基づいて,panoptic-partformer++を提案し,パートセグメンテーション品質をさらに高めるための新しいパート・ヘールクロス・アテンション・スキームを設計する。 マスク付きクロスアテンションを用いた新しいパートホールインタラクション手法を設計する。 最後に,Panoptic-PartFormerとPanoptic-PartFormer++の有効性について検討した。 以前のPanoptic-PartFormerと比較して、Panoptic-PartFormer++は、Cityscapes PPSデータセットの2% PartPQと3% PWQの改善、Pascal Context PPSデータセットの5% PartPQを実現しています。 両方のデータセットにおいて、Panoptic-PartFormer++は、GFlopsで70%、パラメータで50%の大幅なコスト削減で、最先端の新たな結果を達成する。 私たちのモデルは強力なベースラインとなり、ppsにおける将来の研究を支援することができます。 コードは利用可能だ。

関連論文リスト

• Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations [2.087148326341881]
  PPS(Part-Aware Panoptic segmentation)は、画像内の各前景オブジェクトと背景領域がセグメント化され分類され、(b)前景オブジェクト内のすべての部分がセグメント化され、分類され、親オブジェクトにリンクされることを要求する。 既存の手法は、オブジェクトレベルと部分レベルのセグメンテーションを別々に実施することでPSSにアプローチする。 タスク対応部分アライメントパン光学(TAPPS)を提案する。 TAPPSは、個々の親オブジェクトに関連付けられた部分レベルのセグメントを予測し、学習目標をタスク目標と整合させ、TAPPSが共同オブジェクト-部分表現を活用できるようにする。
  論文  参考訳（メタデータ） (2024-06-14T15:20:46Z)
• JPPF: Multi-task Fusion for Consistent Panoptic-Part Segmentation [12.19926973291957]
  パーシャル・アウェア・パノプティック・セグメンテーション(Part-Aware Panoptic segmentation)は、複数のレベルの粒度でシーンの意味的理解を提供することを目的としたコンピュータビジョンの問題である。 本研究は,3つの分割を効果的に組み合わせてパン光学部分分割を得るJPPF(Joint Panoptic Part Fusion)について述べる。
  論文  参考訳（メタデータ） (2023-11-30T15:17:46Z)
• You Only Segment Once: Towards Real-Time Panoptic Segmentation [68.91492389185744]
  YOSOはリアルタイムのパン光学セグメンテーションフレームワークである。 YOSOは、パン光学カーネルと画像特徴マップの間の動的畳み込みを通じてマスクを予測する。 YOSOは、COCOで46.4 PQ、45.6 FPS、都市景観で52.5 PQ、22.6 FPS、ADE20Kで38.0 PQ、35.4 FPSを達成している。
  論文  参考訳（メタデータ） (2023-03-26T07:55:35Z)
• Position-Guided Point Cloud Panoptic Segmentation Transformer [118.17651196656178]
  この作業は、LiDARベースのポイントクラウドセグメンテーションにこの魅力的なパラダイムを適用し、シンプルだが効果的なベースラインを得ることから始まります。 スパース点雲のインスタンスはシーン全体に対して比較的小さく、しばしば類似した形状を持つが、画像領域では珍しいセグメンテーションの外観が欠如している。 position-guided Point cloud Panoptic segmentation transFormer (P3Former) と名付けられたこの手法は、Semantic KITTI と nuScenes のベンチマークでそれぞれ3.4%、そして 1.2%の性能をそれぞれ上回っている。
  論文  参考訳（メタデータ） (2023-03-23T17:59:02Z)
• Multi-task Fusion for Efficient Panoptic-Part Segmentation [12.650574326251023]
  本稿では,共有エンコーダを用いて意味,例,部分のセグメンテーションを生成する新しいネットワークを提案する。 3つの頭部の予測を効率的に融合させるため,パラメータフリーのジョイント・フュージョン・モジュールを導入する。 本手法は,Cityscapes Panoptic Parts (CPP) と Pascal Panoptic Parts (PPP) のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-12-15T09:04:45Z)
• Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation [76.9420522112248]
  Panoptic Part (PPS) は、汎視的セグメンテーションと部分セグメンテーションをひとつのタスクに統合することを目的としている。 そこで我々はPanoptic-PartFormerというエンドツーエンド統合手法を設計した。 私たちのPanoptic-PartFormerは、Cityscapes PPSとPascal Context PPSデータセットの両方で、最先端の新たな結果を実現しています。
  論文  参考訳（メタデータ） (2022-04-10T11:16:45Z)
• PolyphonicFormer: Unified Query Learning for Depth-aware Video Panoptic Segmentation [90.26723865198348]
  DVPSタスクで全てのサブタスクを統一する視覚変換器であるPolyphonicFormerを提案する。 提案手法は,問合せ学習による深度推定とパノプティックセグメンテーションの関係について検討する。 ICCV-2021 BMTT Challenge video + depth trackで1位にランクインした。
  論文  参考訳（メタデータ） (2021-12-05T14:31:47Z)
• Part-aware Panoptic Segmentation [3.342126234995932]
  Part-Aware Panoptic (PPS)は、複数の抽象化レベルでシーンを理解することを目的としている。 一般的に使われている2つのデータセット、CityscapesとPascal VOCに一貫したアノテーションを提供します。 パートアウェア・パノプティクス(Part-Aware Panoptic Quality, PartPQ)と呼ばれるPSSを評価するための単一の指標を提案する。
  論文  参考訳（メタデータ） (2021-06-11T12:48:07Z)
• Video Panoptic Segmentation [117.08520543864054]
  我々は,ビデオパノプティクスセグメンテーションと呼ばれる,このタスクの新たな拡張手法を提案し,検討する。 この新しいタスクの研究を活性化するために,2種類のビデオパノプティクスデータセットを提示する。 本稿では,ビデオフレーム内のオブジェクトクラス,バウンディングボックス,マスク,インスタンスID追跡,セマンティックセマンティックセマンティックセマンティックセマンティクスを共同で予測する新しいビデオパノプティックセマンティクスネットワーク(VPSNet)を提案する。
  論文  参考訳（メタデータ） (2020-06-19T19:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。