論文の概要: Occlusion-Aware Seamless Segmentation
- arxiv url: http://arxiv.org/abs/2407.02182v1
- Date: Tue, 2 Jul 2024 11:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 15:45:15.784383
- Title: Occlusion-Aware Seamless Segmentation
- Title(参考訳): 閉塞型シームレスセグメンテーション
- Authors: Yihong Cao, Jiaming Zhang, Hao Shi, Kunyu Peng, Yuhongxuan Zhang, Hui Zhang, Rainer Stiefelhagen, Kailun Yang,
- Abstract要約: これら3つの課題に同時に取り組む新しいタスク,Occlusion-Aware Seamless (OASS)を導入する。
ベンチマークのために、Blending Panoramic Amodal Seamlessのための新しい人間アノテーション付きデータセットを構築した。
BlendPASSデータセットの最先端性能を達成し、26.58%、mIoU43.66%という驚くべきmAPQに達した。
- 参考スコア(独自算出の注目度): 38.75932764694952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panoramic images can broaden the Field of View (FoV), occlusion-aware prediction can deepen the understanding of the scene, and domain adaptation can transfer across viewing domains. In this work, we introduce a novel task, Occlusion-Aware Seamless Segmentation (OASS), which simultaneously tackles all these three challenges. For benchmarking OASS, we establish a new human-annotated dataset for Blending Panoramic Amodal Seamless Segmentation, i.e., BlendPASS. Besides, we propose the first solution UnmaskFormer, aiming at unmasking the narrow FoV, occlusions, and domain gaps all at once. Specifically, UnmaskFormer includes the crucial designs of Unmasking Attention (UA) and Amodal-oriented Mix (AoMix). Our method achieves state-of-the-art performance on the BlendPASS dataset, reaching a remarkable mAPQ of 26.58% and mIoU of 43.66%. On public panoramic semantic segmentation datasets, i.e., SynPASS and DensePASS, our method outperforms previous methods and obtains 45.34% and 48.08% in mIoU, respectively. The fresh BlendPASS dataset and our source code will be made publicly available at https://github.com/yihong-97/OASS.
- Abstract(参考訳): パノラマ画像は視野(FoV)を広げ、オクルージョンを意識した予測はシーンの理解を深め、ドメイン適応は視野領域をまたいで転送することができる。
本稿では,OASS(Occlusion-Aware Seamless Segmentation)という新たな課題を紹介し,これら3つの課題に同時に取り組む。
OASSをベンチマークするために、Blending Panoramic Amodal Seamless Segmentation(BlendPASS)のための新しい人間アノテーションデータセットを構築した。
さらに,狭いFoV,オクルージョン,ドメインギャップを一度に解き放つことを目的とした,UnmaskFormerを提案する。
具体的には、UnmaskFormerには、Unmasking Attention (UA) と Amodal-oriented Mix (AoMix) の重要な設計が含まれている。
BlendPASSデータセットの最先端性能を達成し、26.58%、mIoU43.66%という驚くべきmAPQに達した。
公共パノラマセマンティックセマンティックセグメンテーションデータセット、すなわちSynPASSとDensePASSでは、従来の手法よりも優れ、mIoUでそれぞれ45.34%と48.08%を得る。
新しいBlendPASSデータセットとソースコードはhttps://github.com/yihong-97/OASSで公開されます。
関連論文リスト
- PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - The Devil is in the Points: Weakly Semi-Supervised Instance Segmentation
via Point-Guided Mask Representation [61.027468209465354]
本稿では,ポイントラベル付き弱半教師付きインスタンスセグメンテーション(WSSIS)という新しい学習手法を提案する。
本稿では、予算に優しいポイントラベルを強力な弱監督源として効果的に活用できるWSSISの手法を提案する。
我々はCOCOとBDD100Kデータセットの広範な実験を行い、提案手法は完全な教師付きモデルのデータセットに匹敵する有望な結果を得る。
論文 参考訳(メタデータ) (2023-03-27T10:11:22Z) - MaskRange: A Mask-classification Model for Range-view based LiDAR
Segmentation [34.04740351544143]
本研究では,範囲ビューに基づくLiDARセマンティクスとパノプティックセグメンテーションのためのマスク分類モデルMaskRangeを提案する。
我々のMaskRangeは、セマンティックセグメンテーションにおける6.10ドルmIoUの最先端性能と、高い効率でパノプティクスセグメンテーションにおける53.10ドルPQの有望な結果を達成する。
論文 参考訳(メタデータ) (2022-06-24T04:39:49Z) - Discovering Object Masks with Transformers for Unsupervised Semantic
Segmentation [75.00151934315967]
MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。
我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
論文 参考訳(メタデータ) (2022-06-13T17:59:43Z) - Mask DINO: Towards A Unified Transformer-based Framework for Object
Detection and Segmentation [15.826822450977271]
Mask DINOは統合されたオブジェクト検出とセグメンテーションフレームワークである。
Mask DINOはシンプルで、効率的で、スケーラブルで、共同で大規模な検出とセグメンテーションデータセットの恩恵を受けています。
論文 参考訳(メタデータ) (2022-06-06T17:57:25Z) - HMFS: Hybrid Masking for Few-Shot Segmentation [27.49000348046462]
我々は特徴マスキング(FM)を強化するためのシンプルで効果的で効率的なアプローチを開発した。
本研究では,FM法における微細な空間的詳細の損失を補足する基本入力マスキング手法の検証と活用により補足する。
3つの公開ベンチマークの実験結果から、HMFSは現在の最先端手法よりも目に見えるマージンで優れていることが明らかになった。
論文 参考訳(メタデータ) (2022-03-24T03:07:20Z) - Pyramid Fusion Transformer for Semantic Segmentation [44.57867861592341]
マルチスケール特徴量を持つマスク毎のセマンティックセマンティックセグメンテーションのためのトランスフォーマベースピラミッドフュージョントランス (PFT) を提案する。
広く使われている3つのセマンティックセグメンテーションデータセット上での競合性能を実現する。
論文 参考訳(メタデータ) (2022-01-11T16:09:25Z) - PFENet++: Boosting Few-shot Semantic Segmentation with the
Noise-filtered Context-aware Prior Mask [62.37727055343632]
「Few-Shot」のためのガイド機能強化ネットワークで提案された以前のマスクガイダンスを再考する。
本稿では,クエリ画像中のオブジェクトの配置を改善するために,近隣のセマンティックキューを活用するコンテキスト対応プリエントマスク(CAPM)を提案する。
我々は、不要な応答をスクリーニングするために、軽量ノイズ抑圧モジュール(NSM)を組み込むことにより、さらに一歩前進する。
論文 参考訳(メタデータ) (2021-09-28T15:07:43Z) - Human De-occlusion: Invisible Perception and Recovery for Humans [26.404444296924243]
我々は,人間の閉ざされたセグメンテーションマスクと目に見えない外観内容の理由から,人間の閉ざしの問題に取り組む。
特に,見えない部分を推定し,内部を復元するための2段階フレームワークが提案されている。
本手法は,マスク補完作業とコンテンツ回復作業の両方において,最先端技術上で動作する。
論文 参考訳(メタデータ) (2021-03-22T05:54:58Z) - BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation [103.74690082121079]
本研究では,インスタンスレベルの情報とセマンティックな情報と,低レベルの微細な粒度を効果的に組み合わせることで,マスク予測の改善を実現する。
私たちの主な貢献は、トップダウンとボトムアップの両方のインスタンスセグメンテーションアプローチからインスピレーションを得たブレンダーモジュールです。
BlendMaskは、非常に少ないチャネルで、ピクセルあたりの高密度な位置感受性インスタンス機能を効果的に予測し、単一の畳み込み層で各インスタンスの注意マップを学習することができる。
論文 参考訳(メタデータ) (2020-01-02T03:30:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。