論文の概要: Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation

• arxiv url: http://arxiv.org/abs/2306.07404v3
• Date: Thu, 30 Nov 2023 14:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 20:21:53.759897
• Title: Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation
• Title（参考訳）: Compositor: ロバスト部分とオブジェクトセグメンテーションのためのボトムアップクラスタリングとコンポジション
• Authors: Ju He, Jieneng Chen, Ming-Xian Lin, Qihang Yu, Alan Yuille
• Abstract要約: 関節部と物体のセグメンテーションに対する頑健なアプローチを提案する。 ボトムアップ方式で,画素,部分,オブジェクトレベルの埋め込みを含む階層的な特徴表現を構築した。 このボトムアップ相互作用は、より低いセマンティックレベルからより高いセマンティックレベルへの情報の統合に有効であることが示されている。
• 参考スコア（独自算出の注目度）: 16.48046112716597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present a robust approach for joint part and object segmentation. Specifically, we reformulate object and part segmentation as an optimization problem and build a hierarchical feature representation including pixel, part, and object-level embeddings to solve it in a bottom-up clustering manner. Pixels are grouped into several clusters where the part-level embeddings serve as cluster centers. Afterwards, object masks are obtained by compositing the part proposals. This bottom-up interaction is shown to be effective in integrating information from lower semantic levels to higher semantic levels. Based on that, our novel approach Compositor produces part and object segmentation masks simultaneously while improving the mask quality. Compositor achieves state-of-the-art performance on PartImageNet and Pascal-Part by outperforming previous methods by around 0.9% and 1.3% on PartImageNet, 0.4% and 1.7% on Pascal-Part in terms of part and object mIoU and demonstrates better robustness against occlusion by around 4.4% and 7.1% on part and object respectively. Code will be available at https://github.com/TACJu/Compositor.
• Abstract（参考訳）: 本稿では,ジョイント部分とオブジェクトセグメンテーションに対するロバストなアプローチを提案する。 具体的には,オブジェクトと部分のセグメンテーションを最適化問題として再構成し,画素,部分,オブジェクトレベルの埋め込みを含む階層的特徴表現を構築し,ボトムアップクラスタリングによって解決する。 ピクセルは複数のクラスタにグループ化され、部分レベルの埋め込みがクラスタセンターとして機能する。 その後、部品提案を合成してオブジェクトマスクを得る。 このボトムアップ相互作用は、より低いセマンティックレベルからより高いセマンティックレベルへの情報の統合に有効であることが示されている。 これに基づいて,提案手法は,マスク品質を向上しつつ,部品とオブジェクトのセグメンテーションマスクを同時に生成する。 コンストラクタは、PartImageNetとPascal-Partの最先端性能を、PartImageNetで約0.9%、PartImageNetで約1.3%、Pascal-Partで約0.4%、オブジェクトmIoUで約1.7%向上し、オクルージョンに対してそれぞれ約4.4%、オブジェクトで約7.1%向上している。 コードはhttps://github.com/TACJu/Compositor.comから入手できる。

関連論文リスト

• From Pixels to Objects: A Hierarchical Approach for Part and Object Segmentation Using Local and Global Aggregation [24.51617545483278]
  画像分割タスクのための階層型トランスフォーマーモデルを提案する。 我々のアプローチの核心は、個々のピクセルからスーパーピクセルへと体系的に進化するマルチレベル表現戦略である。 このアーキテクチャは、ローカルアグリゲーションとグローバルアグリゲーションという2つの重要なアグリゲーション戦略によって支えられている。
  論文  参考訳（メタデータ） (2024-09-02T16:13:26Z)
• Completing Visual Objects via Bridging Generation and Segmentation [84.4552458720467]
  MaskCompは、生成とセグメンテーションの反復的な段階を通して完了プロセスを記述する。 各イテレーションにおいて、オブジェクトマスクは、画像生成を促進する追加条件として提供される。 我々は,1世代と1つのセグメンテーション段階の組み合わせがマスマスデノイザーとして効果的に機能することを実証した。
  論文  参考訳（メタデータ） (2023-10-01T22:25:40Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• Towards Open-World Segmentation of Parts [16.056921233445784]
  本稿では,クラスに依存しない部分分割タスクを提案する。 パートクラスなしでトレーニングされたモデルは、トレーニング時に見えない部分のローカライズとオブジェクトへのセグメンテーションを改善することができる、と私たちは主張する。 当社のアプローチでは,オープンワールドのパートセグメンテーションに向けた重要なステップとして,注目すべきかつ一貫した成果をあげています。
  論文  参考訳（メタデータ） (2023-05-26T10:34:58Z)
• Multi-task Fusion for Efficient Panoptic-Part Segmentation [12.650574326251023]
  本稿では,共有エンコーダを用いて意味,例,部分のセグメンテーションを生成する新しいネットワークを提案する。 3つの頭部の予測を効率的に融合させるため,パラメータフリーのジョイント・フュージョン・モジュールを導入する。 本手法は,Cityscapes Panoptic Parts (CPP) と Pascal Panoptic Parts (PPP) のデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2022-12-15T09:04:45Z)
• Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation [75.00151934315967]
  MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。 我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
  論文  参考訳（メタデータ） (2022-06-13T17:59:43Z)
• 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
  我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。 本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
  論文  参考訳（メタデータ） (2021-11-29T16:34:53Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
  既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。 本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。 我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。 さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T12:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。