論文の概要: Segment as Points for Efficient Online Multi-Object Tracking and
Segmentation
- arxiv url: http://arxiv.org/abs/2007.01550v1
- Date: Fri, 3 Jul 2020 08:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 05:38:14.104847
- Title: Segment as Points for Efficient Online Multi-Object Tracking and
Segmentation
- Title(参考訳): 効率的なオンライン多目的追跡・セグメンテーションのためのポイントとしてのセグメンテーション
- Authors: Zhenbo Xu, Wei Zhang, Xiao Tan, Wei Yang, Huan Huang, Shilei Wen,
Errui Ding, Liusheng Huang
- Abstract要約: 本稿では,コンパクトな画像表現を非秩序な2次元点クラウド表現に変換することで,セグメントに基づくインスタンス埋め込みの学習に有効な方法を提案する。
本手法は,画像ではなく,ランダムに選択された点から識別インスタンスの埋め込みを学習する,新たなトラッキング・バイ・ポイントのパラダイムを生成する。
PointTrackという名前のオンラインMOTSフレームワークは、最先端のすべてのメソッドを大きなマージンで上回っている。
- 参考スコア(独自算出の注目度): 66.03023110058464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current multi-object tracking and segmentation (MOTS) methods follow the
tracking-by-detection paradigm and adopt convolutions for feature extraction.
However, as affected by the inherent receptive field, convolution based feature
extraction inevitably mixes up the foreground features and the background
features, resulting in ambiguities in the subsequent instance association. In
this paper, we propose a highly effective method for learning instance
embeddings based on segments by converting the compact image representation to
un-ordered 2D point cloud representation. Our method generates a new
tracking-by-points paradigm where discriminative instance embeddings are
learned from randomly selected points rather than images. Furthermore, multiple
informative data modalities are converted into point-wise representations to
enrich point-wise features. The resulting online MOTS framework, named
PointTrack, surpasses all the state-of-the-art methods including 3D tracking
methods by large margins (5.4% higher MOTSA and 18 times faster over
MOTSFusion) with the near real-time speed (22 FPS). Evaluations across three
datasets demonstrate both the effectiveness and efficiency of our method.
Moreover, based on the observation that current MOTS datasets lack crowded
scenes, we build a more challenging MOTS dataset named APOLLO MOTS with higher
instance density. Both APOLLO MOTS and our codes are publicly available at
https://github.com/detectRecog/PointTrack.
- Abstract(参考訳): 現在のマルチオブジェクトトラッキング・セグメンテーション(mots)メソッドは、追跡・検出パラダイムに従い、特徴抽出に畳み込みを採用する。
しかし, コンボリューションに基づく特徴抽出は, 固有受容場の影響を受け, 前景の特徴と背景特徴を必然的に混合し, 後続の事例関連における曖昧さを生じさせる。
本稿では,コンパクト画像表現を非順序2次元点クラウド表現に変換することにより,セグメントに基づくインスタンス埋め込みを高度に学習する手法を提案する。
提案手法は,画像ではなくランダムに選択した点から識別的埋め込みを学習する新しい追跡・バイ・ポイント・パラダイムを生成する。
さらに、複数の情報的データモダリティをポイントワイズ表現に変換してポイントワイズ特徴を豊かにする。
オンラインMOTSフレームワークであるPointTrackは、3Dトラッキング手法を含む最先端のすべての手法(MOTSAよりも5.4%高く、MOTSFusionより18倍速い)をほぼリアルタイム(22 FPS)で上回っている。
3つのデータセットに対する評価は,本手法の有効性と有効性を示す。
さらに、現在のMOTSデータセットが混み合ったシーンを欠いているという観測に基づいて、APOLLO MOTSという名前のMOTSデータセットをより高いインスタンス密度で構築する。
APOLLO MOTSと私たちのコードは、https://github.com/detectRecog/PointTrack.comで公開されています。
関連論文リスト
- Dynamic Clustering Transformer Network for Point Cloud Segmentation [23.149220817575195]
動的クラスタリングトランスネットワーク(DCTNet)と呼ばれる新しい3Dポイントクラウド表現ネットワークを提案する。
エンコーダ-デコーダアーキテクチャがあり、ローカルとグローバルの両方の機能学習が可能である。
提案手法は,オブジェクトベースデータセット(ShapeNet),都市ナビゲーションデータセット(Toronto-3D),マルチスペクトルLiDARデータセットを用いて評価した。
論文 参考訳(メタデータ) (2023-05-30T01:11:05Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳(メタデータ) (2022-11-01T20:59:38Z) - SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object
Detection [78.90102636266276]
SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。
そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。
実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
論文 参考訳(メタデータ) (2022-01-06T08:54:47Z) - Learning Semantic Segmentation of Large-Scale Point Clouds with Random
Sampling [52.464516118826765]
我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。
我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。
我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
論文 参考訳(メタデータ) (2021-07-06T05:08:34Z) - M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object
Detection with Transformers [78.48081972698888]
M3DeTRは、マルチスケールのフィーチャーピラミッドに基づいて、異なるポイントクラウド表現と異なる機能スケールを組み合わせたものです。
M3DeTRは、複数のポイントクラウド表現、機能スケール、およびトランスを使用してポイントクラウド間の相互関係を同時にモデル化する最初のアプローチです。
論文 参考訳(メタデータ) (2021-04-24T06:48:23Z) - PointTrack++ for Effective Online Multi-Object Tracking and Segmentation [63.825223123350874]
マルチオブジェクトトラッキングとセグメンテーション(MOTS)は、複数オブジェクト追跡(MOT)とインスタンスセグメンテーションを共同で行うことを目的とした、新しいコンピュータビジョンタスクである。
私たちは、最近提案したPointTrackフレームワークを著しく拡張した、MOTSのオンラインフレームワークであるPointTrack++を紹介します。
このフレームワークは第5BMTT MOTChallenge上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-07-03T08:28:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。