論文の概要: SOIT: Segmenting Objects with Instance-Aware Transformers
- arxiv url: http://arxiv.org/abs/2112.11037v2
- Date: Thu, 23 Dec 2021 15:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 12:42:25.116069
- Title: SOIT: Segmenting Objects with Instance-Aware Transformers
- Title（参考訳）: SOIT: インスタンス対応トランスによるオブジェクトのセグメンテーション
- Authors: Xiaodong Yu, Dahu Shi, Xing Wei, Ye Ren, Tingqun Ye, Wenming Tan
- Abstract要約: 本稿では,SOIT(Segments Objects with Instance-aware Transformer)と呼ばれるエンドツーエンドのインスタンスセグメンテーションフレームワークを提案する。
提案手法では,インスタンスのセグメンテーションを直接セット予測問題とみなし,多数の手作り部品の必要性を効果的に除去する。
MS COCOデータセットの実験結果は、SOITが最先端のインスタンスセグメンテーションアプローチを大幅に上回っていることを示している。
- 参考スコア（独自算出の注目度）: 16.234574932216855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an end-to-end instance segmentation framework, termed
SOIT, that Segments Objects with Instance-aware Transformers. Inspired by DETR
\cite{carion2020end}, our method views instance segmentation as a direct set
prediction problem and effectively removes the need for many hand-crafted
components like RoI cropping, one-to-many label assignment, and non-maximum
suppression (NMS). In SOIT, multiple queries are learned to directly reason a
set of object embeddings of semantic category, bounding-box location, and
pixel-wise mask in parallel under the global image context. The class and
bounding-box can be easily embedded by a fixed-length vector. The pixel-wise
mask, especially, is embedded by a group of parameters to construct a
lightweight instance-aware transformer. Afterward, a full-resolution mask is
produced by the instance-aware transformer without involving any RoI-based
operation. Overall, SOIT introduces a simple single-stage instance segmentation
framework that is both RoI- and NMS-free. Experimental results on the MS COCO
dataset demonstrate that SOIT outperforms state-of-the-art instance
segmentation approaches significantly. Moreover, the joint learning of multiple
tasks in a unified query embedding can also substantially improve the detection
performance. Code is available at \url{https://github.com/yuxiaodongHRI/SOIT}.
- Abstract（参考訳）: 本稿では,SOIT(Segments Objects with Instance-aware Transformer)と呼ばれるエンドツーエンドのインスタンスセグメンテーションフレームワークを提案する。
DETR \cite{carion2020end} にインスパイアされた本手法は,インスタンスセグメンテーションを直接セット予測問題とみなし,RoI の刈り取り,一対多ラベル割り当て,非最大抑圧 (NMS) などの手作り部品の必要性を効果的に除去する。
SOITでは、複数のクエリが学習され、グローバル画像コンテキスト下で、セマンティックカテゴリ、バウンディングボックス位置、およびピクセルワイドマスクの一連のオブジェクト埋め込みを直接推論する。
クラスとバウンディングボックスは固定長ベクトルで簡単に埋め込むことができる。
特にpixel-wiseマスクは、軽量なインスタンス対応トランスフォーマーを構築するためにパラメータのグループによって埋め込まれている。
その後、RoIベースの操作を伴わずに、インスタンス認識変換器によってフルレゾリューションマスクが生成される。
全体として、SOITはシンプルな単一ステージのインスタンスセグメンテーションフレームワークを導入している。
MS COCOデータセットの実験結果は、SOITが最先端のインスタンスセグメンテーションアプローチを大幅に上回っていることを示している。
さらに、統合クエリ埋め込みにおける複数のタスクの共同学習により、検出性能が大幅に向上する。
コードは \url{https://github.com/yuxiaodonghri/soit} で入手できる。
関連論文リスト
- Matching Anything by Segmenting Anything [109.2507425045143]
我々は、堅牢なインスタンスアソシエーション学習のための新しい手法であるMASAを提案する。
MASAは、徹底的なデータ変換を通じてインスタンスレベルの対応を学習する。
完全アノテートされたドメイン内ビデオシーケンスでトレーニングした最先端の手法よりも,MASAの方が優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-06-06T16:20:07Z) - SKU-Patch: Towards Efficient Instance Segmentation for Unseen Objects in
Auto-Store [102.45729472142526]
大規模な倉庫では、精密なケースマスクがロボットのビンピッキングに欠かせない。
本稿では,新たなSKUに対して,いくつかのイメージパッチのみを活用するパッチ誘導型インスタンスセグメンテーションソリューションを提案する。
SKU-Patchは、ロボット支援自動ストアロジスティックパイプラインにおいて、50以上の見えないSKUに対して、平均して100%近い成功率を得る。
論文 参考訳（メタデータ） (2023-11-08T12:44:38Z) - SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance
Segmentation [22.930296667684125]
本稿では,セマンティック・アウェア・インスタンス・マスク(SIM)生成パラダイムを開発することによって,新しいボックス管理型インスタンス・セグメンテーション手法を提案する。
セマンティック・アウェア・プロトタイプは,同じセマンティクスの異なるインスタンスを区別できないことを考慮し,自己補正機構を提案する。
実験結果から,提案手法が他の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-14T05:59:25Z) - Mean Shift Mask Transformer for Unseen Object Instance Segmentation [12.371855276852195]
Mean Shift Mask Transformer (MSMFormer)は、von Mises-Fisher(vMF)平均シフトクラスタリングアルゴリズムをシミュレートするトランスフォーマーアーキテクチャである。
実験の結果,MSMFormerは未確認オブジェクトのインスタンスセグメンテーションの最先端手法と比較して,競争性能が向上していることがわかった。
論文 参考訳（メタデータ） (2022-11-21T17:47:48Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳（メタデータ） (2021-07-25T08:53:59Z) - SOLO: A Simple Framework for Instance Segmentation [84.00519148562606]
インスタンスカテゴリ"は、インスタンスの場所に応じて、インスタンス内の各ピクセルにカテゴリを割り当てる。
SOLO"は、強力なパフォーマンスを備えたインスタンスセグメンテーションのための、シンプルで、直接的で、高速なフレームワークです。
提案手法は, 高速化と精度の両面から, 実例分割の最先端結果を実現する。
論文 参考訳（メタデータ） (2021-06-30T09:56:54Z) - Mask Encoding for Single Shot Instance Segmentation [97.99956029224622]
マスクエンコーディングに基づくインスタンスセグメンテーション(MEInst)と呼ばれる単純なシングルショットインスタンスセグメンテーションフレームワークを提案する。
二次元マスクを直接予測する代わりに、MEInstはそれをコンパクトで固定的な表現ベクトルに蒸留する。
よりシンプルでフレキシブルな一段階のインスタンスセグメンテーション手法は、競合性能も達成できることを示す。
論文 参考訳（メタデータ） (2020-03-26T02:51:17Z) - PointINS: Point-based Instance Segmentation [117.38579097923052]
POI(Point-of-Interest)機能によるインスタンスセグメンテーションにおけるマスク表現は、各インスタンスの高次元マスク機能を学ぶには、計算負荷が重いため、難しい。
本稿では、このマスク表現学習タスクを2つの抽出可能なモジュールに分解するインスタンス認識畳み込みを提案する。
インスタンス認識の畳み込みとともに、単純で実用的なインスタンスセグメンテーションアプローチであるPointINSを提案する。
論文 参考訳（メタデータ） (2020-03-13T08:24:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。