Fugu-MT 論文翻訳(概要): Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations

論文の概要: Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations

arxiv url: http://arxiv.org/abs/2406.10114v1
Date: Fri, 14 Jun 2024 15:20:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 13:06:25.441886
Title: Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations
Title（参考訳）: 協調対象部分表現によるタスクアライメント部分認識パノプティクス分割
Authors: Daan de Geus, Gijs Dubbelman,
Abstract要約: PPS(Part-Aware Panoptic segmentation)は、画像内の各前景オブジェクトと背景領域がセグメント化され分類され、(b)前景オブジェクト内のすべての部分がセグメント化され、分類され、親オブジェクトにリンクされることを要求する。既存の手法は、オブジェクトレベルと部分レベルのセグメンテーションを別々に実施することでPSSにアプローチする。タスク対応部分アライメントパン光学(TAPPS)を提案する。 TAPPSは、個々の親オブジェクトに関連付けられた部分レベルのセグメントを予測し、学習目標をタスク目標と整合させ、TAPPSが共同オブジェクト-部分表現を活用できるようにする。
参考スコア（独自算出の注目度）: 2.087148326341881
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Part-aware panoptic segmentation (PPS) requires (a) that each foreground object and background region in an image is segmented and classified, and (b) that all parts within foreground objects are segmented, classified and linked to their parent object. Existing methods approach PPS by separately conducting object-level and part-level segmentation. However, their part-level predictions are not linked to individual parent objects. Therefore, their learning objective is not aligned with the PPS task objective, which harms the PPS performance. To solve this, and make more accurate PPS predictions, we propose Task-Aligned Part-aware Panoptic Segmentation (TAPPS). This method uses a set of shared queries to jointly predict (a) object-level segments, and (b) the part-level segments within those same objects. As a result, TAPPS learns to predict part-level segments that are linked to individual parent objects, aligning the learning objective with the task objective, and allowing TAPPS to leverage joint object-part representations. With experiments, we show that TAPPS considerably outperforms methods that predict objects and parts separately, and achieves new state-of-the-art PPS results.
Abstract（参考訳）: Part-Aware Panoptic segmentation (PPS) の必要性 (a)画像の各前景オブジェクトと背景領域を分類して分類すること b) フォアグラウンドオブジェクト内のすべての部分がセグメンテーションされ、分類され、親オブジェクトにリンクされていること。既存の手法は、オブジェクトレベルと部分レベルのセグメンテーションを別々に実施することでPSSにアプローチする。しかし、それらの部分レベルの予測は個々の親オブジェクトに関連付けられていない。したがって、学習目的はPSタスク目標と一致せず、PSパフォーマンスを損なう。この問題を解消し、より正確なPSS予測を行うため、タスクアライメントされたパートアライメント・パノプティクス・セグメンテーション(TAPPS)を提案する。この方法は、共同で予測するために共有クエリのセットを使用する a)オブジェクトレベルのセグメント、 b) それらのオブジェクト内の部分レベルセグメント。その結果、TAPPSは、個々の親オブジェクトに関連付けられた部分レベルのセグメントを予測し、学習目標とタスク目標を整合させ、TAPPSが共同オブジェクト部分表現を活用できるようにする。実験により、TAPPSはオブジェクトとパーツを別々に予測する手法よりもかなり優れており、新しい最先端PSS結果が得られることを示した。

関連論文リスト

1st Place Solution for MOSE Track in CVPR 2024 PVUW Workshop: Complex Video Object Segmentation [72.54357831350762]
本稿では,ビデオオブジェクトのセグメンテーションモデルを提案する。我々は大規模ビデオオブジェクトセグメンテーションデータセットを用いてモデルを訓練した。我々のモデルは、複雑なビデオオブジェクトチャレンジのテストセットで1位(textbf84.45%)を達成した。
論文参考訳（メタデータ） (2024-06-07T03:13:46Z)
JPPF: Multi-task Fusion for Consistent Panoptic-Part Segmentation [12.19926973291957]
パーシャル・アウェア・パノプティック・セグメンテーション(Part-Aware Panoptic segmentation)は、複数のレベルの粒度でシーンの意味的理解を提供することを目的としたコンピュータビジョンの問題である。本研究は,3つの分割を効果的に組み合わせてパン光学部分分割を得るJPPF(Joint Panoptic Part Fusion)について述べる。
論文参考訳（メタデータ） (2023-11-30T15:17:46Z)
PartSeg: Few-shot Part Segmentation via Part-aware Prompt Learning [44.48704588318053]
マルチモーダル学習に基づくパートセグメンテーションのためのパートセグと呼ばれる新しい手法を開発した。 PartImageNetとPascal$_$Partデータセットについて広範な実験を行った。
論文参考訳（メタデータ） (2023-08-24T13:03:42Z)
PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation [152.66484428389364]
Panoptic Part (PPS) は、パノプティクスと部分分割をひとつのタスクに統合する。最初のエンドツーエンド統合フレームワークであるPanoptic-PartFormerを設計する。私たちのモデルは強力なベースラインとして機能し、PSの将来の研究を支援することができます。
論文参考訳（メタデータ） (2023-01-03T05:30:56Z)
Panoptic-PartFormer: Learning a Unified Model for Panoptic Part Segmentation [76.9420522112248]
Panoptic Part (PPS) は、汎視的セグメンテーションと部分セグメンテーションをひとつのタスクに統合することを目的としている。そこで我々はPanoptic-PartFormerというエンドツーエンド統合手法を設計した。私たちのPanoptic-PartFormerは、Cityscapes PPSとPascal Context PPSデータセットの両方で、最先端の新たな結果を実現しています。
論文参考訳（メタデータ） (2022-04-10T11:16:45Z)
Part-level Action Parsing via a Pose-guided Coarse-to-Fine Framework [108.70949305791201]
パートレベルのアクションパーシング(PAP)は、ビデオレベルのアクションを予測するだけでなく、ビデオ内の各人に対するフレームレベルのきめ細かいアクションやインタラクションを認識することを目的としている。特に,本フレームワークは,まず入力ビデオの映像レベルのクラスを予測し,次に身体部位をローカライズし,部分レベルの動作を予測する。我々のフレームワークは最先端のパフォーマンスを達成し、既存の手法を31.10%のROCスコアで上回ります。
論文参考訳（メタデータ） (2022-03-09T01:30:57Z)
3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
論文参考訳（メタデータ） (2021-11-29T16:34:53Z)
Part-aware Panoptic Segmentation [3.342126234995932]
Part-Aware Panoptic (PPS)は、複数の抽象化レベルでシーンを理解することを目的としている。一般的に使われている2つのデータセット、CityscapesとPascal VOCに一貫したアノテーションを提供します。パートアウェア・パノプティクス(Part-Aware Panoptic Quality, PartPQ)と呼ばれるPSSを評価するための単一の指標を提案する。
論文参考訳（メタデータ） (2021-06-11T12:48:07Z)
Personal Fixations-Based Object Segmentation with Object Localization and Boundary Preservation [60.41628937597989]
我々はPFOS(Personal Fixations-based Object)に着目し,過去の研究の課題に対処する。視線オブジェクトをセグメント化するオブジェクトローカリゼーションと境界保存(OLBP)に基づく新しいネットワークを提案する。 OLBPは複数のタイプの深い監督の混合されたボトムアップおよびトップダウンの方法で整理されます。
論文参考訳（メタデータ） (2021-01-22T09:20:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。