論文の概要: Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion

• arxiv url: http://arxiv.org/abs/2211.10581v1
• Date: Sat, 19 Nov 2022 04:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 19:58:28.123791
• Title: Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion
• Title（参考訳）: スパース4D:空間-時間融合による多視点3次元物体検出
• Authors: Xuewu Lin, Tianwei Lin, Zixiang Pei, Lichao Huang, Zhizhong Su
• Abstract要約: Sparse4Dは,空間的時間的特徴をスパースサンプリングし,融合させることにより,アンカーボックスの繰り返し改良を行う。 実験では, nuScenesデータセットにおける検出タスクにおいて, スパース法およびほとんどのBEV法よりも優れていた。
• 参考スコア（独自算出の注目度）: 14.15155927539293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bird-eye-view (BEV) based methods have made great progress recently in multi-view 3D detection task. Comparing with BEV based methods, sparse based methods lag behind in performance, but still have lots of non-negligible merits. To push sparse 3D detection further, in this work, we introduce a novel method, named Sparse4D, which does the iterative refinement of anchor boxes via sparsely sampling and fusing spatial-temporal features. (1) Sparse 4D Sampling: for each 3D anchor, we assign multiple 4D keypoints, which are then projected to multi-view/scale/timestamp image features to sample corresponding features; (2) Hierarchy Feature Fusion: we hierarchically fuse sampled features of different view/scale, different timestamp and different keypoints to generate high-quality instance feature. In this way, Sparse4D can efficiently and effectively achieve 3D detection without relying on dense view transformation nor global attention, and is more friendly to edge devices deployment. Furthermore, we introduce an instance-level depth reweight module to alleviate the ill-posed issue in 3D-to-2D projection. In experiment, our method outperforms all sparse based methods and most BEV based methods on detection task in the nuScenes dataset.
• Abstract（参考訳）: バードアイビュー(BEV)に基づく手法は,近年,多視点3D検出タスクにおいて大きな進歩を遂げている。 BEVベースの手法と比較して、スパースベースの手法はパフォーマンスが遅れているが、まだ多くの非無視的なメリットがある。 本研究では,スパース3次元検出をさらに推し進めるために,空間的時間的特徴をスパースサンプリング・融合することで,アンカーボックスの反復的改良を行うSparse4Dを提案する。 1)スパース4Dサンプリング:各3Dアンカーに対して複数の4Dキーポイントを割り当て、そのキーポイントをマルチビュー/スケール/タイムスタンプ画像の特徴に投影し、対応する特徴をサンプリングする;(2)階層的特徴融合:異なるビュー/スケール、異なるタイムスタンプ、異なるキーポイントのサンプル特徴を階層的に融合して高品質なインスタンス特徴を生成する。 このようにして、sparse4dは、濃密なビュー変換やグローバルな注意に頼ることなく、効率的かつ効果的に3d検出を実現できる。 さらに,3D-to-2Dプロジェクションの問題点を軽減するために,インスタンスレベルの深度リウェイトモジュールを導入する。 実験では,nuscenesデータセットにおける検出タスクに基づいて,スパースベースメソッドとほとんどのbevベースメソッドを上回った。

関連論文リスト

• Fully Sparse Fusion for 3D Object Detection [69.32694845027927]
  現在広く使われているマルチモーダル3D検出法は、通常、密度の高いBird-Eye-View特徴マップを使用するLiDARベースの検出器上に構築されている。 完全にスパースなアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めている。 本稿では,新たに出現するフルスパースアーキテクチャにおいて,画像のモダリティを効果的に活用する方法を検討する。
  論文  参考訳（メタデータ） (2023-04-24T17:57:43Z)
• Scatter Points in Space: 3D Detection from Multi-view Monocular Images [8.71944437852952]
  単眼画像からの3次元物体検出は,コンピュータビジョンの課題であり,長年の課題である。 近年の手法では, 空間に密集した正規3次元格子をサンプリングすることにより, マルチビュー特性を集約する傾向にある。 そこで本研究では,データ空間に擬似曲面点を散布し,データの分散性を維持するための学習可能なキーポイントサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-31T09:38:05Z)
• VPIT: Real-time Embedded Single Object 3D Tracking Using Voxel Pseudo Images [90.60881721134656]
  本稿では,Voxel Pseudo Image Tracking (VPIT) という,Voxel-based 3D Single Object Tracking (3D SOT) 手法を提案する。 KITTI追跡データセットの実験は、VPITが最速の3D SOT法であり、競合的な成功と精度の値を維持することを示している。
  論文  参考訳（メタデータ） (2022-06-06T14:02:06Z)
• FCAF3D: Fully Convolutional Anchor-Free 3D Object Detection [3.330229314824913]
  FCAF3D - 完全畳み込み型アンカーフリー屋内3D物体検出法を提案する。 これは、点雲のボクセル表現を使用し、スパース畳み込みでボクセルを処理する、単純で効果的な方法である。 単一の完全な畳み込みフィードフォワードパスを通じて、最小限のランタイムで大規模シーンを処理できる。
  論文  参考訳（メタデータ） (2021-12-01T07:28:52Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
  既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。 この2つのタスクを同一のメトリック空間で統一するモデルを提案する。 提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-17T05:11:38Z)
• Generative Sparse Detection Networks for 3D Single-shot Object Detection [43.91336826079574]
  3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。 しかし、3Dデータのまばらな性質は、このタスクに固有の課題をもたらしている。 本稿では,完全畳み込み単一ショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T15:54:24Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
  LIDARデータに対する高速な1段3次元物体検出法を提案する。 我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。 提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
  論文  参考訳（メタデータ） (2020-04-02T17:48:50Z)
• RTM3D: Real-time Monocular 3D Detection from Object Keypoints for Autonomous Driving [26.216609821525676]
  最も成功した3D検出器は、3Dバウンディングボックスから2Dボックスへの投射制約を重要な構成要素としている。 画像空間における3次元境界ボックスの9つの視点キーポイントを予測し、3次元空間における3次元視点と2次元視点の幾何学的関係を利用して、次元、位置、方向を復元する。 提案手法は,KITTIベンチマークの最先端性能を達成しつつ,モノクロ画像の3次元検出を行う最初のリアルタイムシステムである。
  論文  参考訳（メタデータ） (2020-01-10T08:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。