論文の概要: Multi-Correlation Siamese Transformer Network with Dense Connection for
3D Single Object Tracking
- arxiv url: http://arxiv.org/abs/2312.11051v1
- Date: Mon, 18 Dec 2023 09:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:27:27.960501
- Title: Multi-Correlation Siamese Transformer Network with Dense Connection for
3D Single Object Tracking
- Title（参考訳）: 3次元単一物体追跡のための高密度接続を持つ多相関シアムトランスネットワーク
- Authors: Shihao Feng, Pengpeng Liang, Jin Gao, Erkang Cheng
- Abstract要約: ポイントクラウドベースの3Dオブジェクトトラッキングは、自動運転において重要なタスクである。
スパースLIDARポイントクラウドデータでテンプレートと検索ブランチの相関を効果的に学習することは依然として困難である。
本稿では,複数のステージを持つマルチ相関シームス変圧器ネットワークを提案し,各ステージの最後に特徴相関を行う。
- 参考スコア（独自算出の注目度）: 14.47355191520578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point cloud-based 3D object tracking is an important task in autonomous
driving. Though great advances regarding Siamese-based 3D tracking have been
made recently, it remains challenging to learn the correlation between the
template and search branches effectively with the sparse LIDAR point cloud
data. Instead of performing correlation of the two branches at just one point
in the network, in this paper, we present a multi-correlation Siamese
Transformer network that has multiple stages and carries out feature
correlation at the end of each stage based on sparse pillars. More
specifically, in each stage, self-attention is first applied to each branch
separately to capture the non-local context information. Then, cross-attention
is used to inject the template information into the search area. This strategy
allows the feature learning of the search area to be aware of the template
while keeping the individual characteristics of the template intact. To enable
the network to easily preserve the information learned at different stages and
ease the optimization, for the search area, we densely connect the initial
input sparse pillars and the output of each stage to all subsequent stages and
the target localization network, which converts pillars to bird's eye view
(BEV) feature maps and predicts the state of the target with a small densely
connected convolution network. Deep supervision is added to each stage to
further boost the performance as well. The proposed algorithm is evaluated on
the popular KITTI, nuScenes, and Waymo datasets, and the experimental results
show that our method achieves promising performance compared with the
state-of-the-art. Ablation study that shows the effectiveness of each component
is provided as well. Code is available at
https://github.com/liangp/MCSTN-3DSOT.
- Abstract（参考訳）: ポイントクラウドベースの3Dオブジェクトトラッキングは、自動運転において重要なタスクである。
シームズをベースとした3Dトラッキングに関する大きな進歩は近年行われているが、スパースLIDARポイントクラウドデータでテンプレートと検索ブランチの相関を効果的に学習することは依然として困難である。
本稿では,2つの分岐の相関関係をネットワークの1つの点で行う代わりに,複数のステージを持つマルチ相関・シームズ・トランスフォーマネットワークを提案し,スパース・ピラーに基づいて各ステージの最後に特徴相関を行う。
より具体的には、各ステージでは、最初に各ブランチに自己アテンションを適用して、非ローカルなコンテキスト情報をキャプチャする。
次に、テンプレート情報を検索領域に注入するためにクロスアテンションを使用する。
この戦略により、テンプレートの個々の特性をそのまま保ちながら、検索領域の特徴学習がテンプレートを認識することができる。
ネットワークが学習した情報を異なる段階で容易に保存し、最適化を容易にするため、探索領域において、初期入力スパース柱と各ステージの出力をその後の全てのステージに密に接続し、ターゲットのローカライゼーションネットワークは、柱を鳥の目視(BEV)特徴マップに変換して、小さな密結合畳み込みネットワークでターゲットの状態を予測する。
パフォーマンスをさらに向上させるために、各ステージに深い監視を追加する。
提案アルゴリズムはKITTI, nuScenes, Waymoのデータセットを用いて評価し, 実験結果から, 提案手法が最先端技術と比較して有望な性能を達成することを示す。
各成分の有効性を示すアブレーション研究も提供される。
コードはhttps://github.com/liangp/mcstn-3dsotで入手できる。
関連論文リスト
- Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。
現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。
我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
論文 参考訳（メタデータ） (2023-07-27T03:42:12Z) - Correlation Pyramid Network for 3D Single Object Tracking [16.694809791177263]
本稿では,統合エンコーダとモーションファクターデコーダを備えた新しい相関ピラミッドネットワーク(CorpNet)を提案する。
CorpNetは、リアルタイムに実行しながら最先端の結果を達成する。
論文 参考訳（メタデータ） (2023-05-16T06:07:20Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳（メタデータ） (2023-01-22T08:26:58Z) - 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D
Point Clouds [95.54285993019843]
本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。
本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
論文 参考訳（メタデータ） (2022-11-01T20:59:38Z) - OST: Efficient One-stream Network for 3D Single Object Tracking in Point Clouds [6.661881950861012]
本稿では,従来のシームズネットワークで発生した相関操作を回避するために,インスタンスレベルのエンコーディングの強みを活かした新しい一ストリームネットワークを提案する。
提案手法は,クラス固有のトラッキングだけでなく,より少ない計算と高い効率でクラスに依存しないトラッキングを実現する。
論文 参考訳（メタデータ） (2022-10-16T12:31:59Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳（メタデータ） (2022-07-31T21:39:15Z) - 3D Siamese Transformer Network for Single Object Tracking on Point
Clouds [22.48888264770609]
シームズネットワークに基づくトラッカーは、テンプレートの点特徴と検索領域との間の相互相関学習として、3Dオブジェクト追跡を定式化する。
テンプレートと検索領域間の堅牢な相互相関を学習するために,Transformer を用いて 3D Siamese Transformer ネットワークを構築した。
本手法は,3次元物体追跡タスクにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-25T09:08:30Z) - DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。
我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-11-15T08:27:21Z) - M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object
Detection with Transformers [78.48081972698888]
M3DeTRは、マルチスケールのフィーチャーピラミッドに基づいて、異なるポイントクラウド表現と異なる機能スケールを組み合わせたものです。
M3DeTRは、複数のポイントクラウド表現、機能スケール、およびトランスを使用してポイントクラウド間の相互関係を同時にモデル化する最初のアプローチです。
論文 参考訳（メタデータ） (2021-04-24T06:48:23Z) - Campus3D: A Photogrammetry Point Cloud Benchmark for Hierarchical
Understanding of Outdoor Scene [76.4183572058063]
複数の屋外シーン理解タスクに対して,リッチな注釈付き3Dポイントクラウドデータセットを提案する。
データセットは階層型ラベルとインスタンスベースのラベルの両方でポイントワイズアノテートされている。
本稿では,3次元点雲分割のための階層的学習問題を定式化し,様々な階層間の整合性を評価することを提案する。
論文 参考訳（メタデータ） (2020-08-11T19:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。