論文の概要: VoxelFormer: Bird's-Eye-View Feature Generation based on Dual-view Attention for Multi-view 3D Object Detection

• arxiv url: http://arxiv.org/abs/2304.01054v1
• Date: Mon, 3 Apr 2023 15:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 14:54:19.527191
• Title: VoxelFormer: Bird's-Eye-View Feature Generation based on Dual-view Attention for Multi-view 3D Object Detection
• Title（参考訳）: VoxelFormer:多視点3Dオブジェクト検出のためのデュアルビューアテンションに基づく鳥の視点特徴生成
• Authors: Zhuoling Li, Chuanrui Zhang, Wei-Chiu Ma, Yipin Zhou, Linyan Huang, Haoqian Wang, SerNam Lim, Hengshuang Zhao
• Abstract要約: 変圧器を用いた検出器は2次元視覚知覚タスクにおいて顕著な性能を示した。 しかし、多視点3Dオブジェクト検出におけるそれらの性能は、畳み込みニューラルネットワークに基づく検出器の最先端(SOTA)よりも劣っている。 本稿では,BEVとカメラの両方から注目重みを生成する,新しいBEV特徴生成手法を提案する。
• 参考スコア（独自算出の注目度）: 47.926010021559314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, transformer-based detectors have demonstrated remarkable performance in 2D visual perception tasks. However, their performance in multi-view 3D object detection remains inferior to the state-of-the-art (SOTA) of convolutional neural network based detectors. In this work, we investigate this issue from the perspective of bird's-eye-view (BEV) feature generation. Specifically, we examine the BEV feature generation method employed by the transformer-based SOTA, BEVFormer, and identify its two limitations: (i) it only generates attention weights from BEV, which precludes the use of lidar points for supervision, and (ii) it aggregates camera view features to the BEV through deformable sampling, which only selects a small subset of features and fails to exploit all information. To overcome these limitations, we propose a novel BEV feature generation method, dual-view attention, which generates attention weights from both the BEV and camera view. This method encodes all camera features into the BEV feature. By combining dual-view attention with the BEVFormer architecture, we build a new detector named VoxelFormer. Extensive experiments are conducted on the nuScenes benchmark to verify the superiority of dual-view attention and VoxelForer. We observe that even only adopting 3 encoders and 1 historical frame during training, VoxelFormer still outperforms BEVFormer significantly. When trained in the same setting, VoxelFormer can surpass BEVFormer by 4.9% NDS point. Code is available at: https://github.com/Lizhuoling/VoxelFormer-public.git.
• Abstract（参考訳）: 近年,変圧器を用いた検出器は2次元視覚知覚タスクにおいて顕著な性能を示した。 しかし、多視点3Dオブジェクト検出におけるそれらの性能は、畳み込みニューラルネットワークに基づく検出器の最先端(SOTA)よりも劣っている。 本研究では,バードアイビュー(BEV)機能生成の観点から,この問題を考察する。 具体的には,変換器をベースとしたSOTA,BEVFormerが採用するBEV特徴生成手法について検討し,その2つの限界を同定する。 (i)bevからのみ注意重みを発生させるため、監視のためのライダーポイントの使用を妨げ、 (II)デフォルマブルサンプリングによりカメラビュー機能をBEVに集約し、少数の機能のみを選択し、すべての情報を利用することができない。 これらの制約を克服するため、BEVとカメラの両方から注目重みを生成する新しいBEV特徴生成手法、デュアルビューアテンションを提案する。 この方法は、すべてのカメラ機能をBEV機能にエンコードする。 デュアルビューとBEVFormerアーキテクチャを組み合わせることで、VoxelFormerという新しい検出器を構築する。 nuScenesベンチマークで大規模な実験を行い、デュアルビューアテンションとVoxelForerの優位性を検証する。 トレーニング中に3エンコーダと1つの歴史的なフレームを採用するだけで、VoxelFormerは依然としてBEVFormerよりも大幅に優れています。 同じ環境でのトレーニングでは、VoxelFormerはBEVFormerを4.9% NDSポイント上回ることができる。 コードはhttps://github.com/lizhuoling/voxelformer-public.gitで入手できる。

関連論文リスト

• DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception [104.87876441265593]
  カメラのみのBird's Eye View (BEV)は3次元空間における環境認識に大きな可能性を示した。 非教師なし領域適応型BEVは、様々な未ラベル対象データから効果的に学習するが、まだ未探索である。 DA-BEVは、画像ビュー機能とBEV機能の相補性を利用して、ドメイン適応型BEV課題に対処する、最初のドメイン適応型カメラのみのBEVフレームワークである。
  論文  参考訳（メタデータ） (2024-01-13T04:21:24Z)
• SA-BEV: Generating Semantic-Aware Bird's-Eye-View Feature for Multi-view 3D Object Detection [46.92706423094971]
  画像特徴のセマンティックセグメンテーションに応じて背景情報をフィルタリングするセマンティック・アウェア・BEVプール(SA-BEVPool)を提案する。 また、セマンティック・アウェアのBEV機能と密接にマッチする効果的なデータ拡張戦略であるBEV-Pasteを提案する。 nuScenesの実験では、SA-BEVが最先端のパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2023-07-21T10:28:19Z)
• OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection [78.38062015443195]
  OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。 提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-13T06:02:31Z)
• BEV-SAN: Accurate BEV 3D Object Detection via Slice Attention Networks [28.024042528077125]
  Bird's-Eye-View (BEV) 3D Object Detectionは自律運転システムにとって重要なマルチビュー技術である。 本研究では,BEVスライス注意ネットワーク (BEV-SAN) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-12-02T15:14:48Z)
• BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision [101.36648828734646]
  本稿では、視線を監督する新しい鳥眼ビュー(BEV)検出器について述べる。 提案手法は,従来および現代の画像バックボーンの幅広いスペクトルを用いて検証し,大規模なnuScenesデータセット上で新たなSoTA結果を得る。
  論文  参考訳（メタデータ） (2022-11-18T18:59:48Z)
• Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe [115.31507979199564]
  鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。 センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。 BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
  論文  参考訳（メタデータ） (2022-09-12T15:29:13Z)
• PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View [26.264139933212892]
  Bird's-Eye-View (BEV)は、自律走行とロボット工学のための他の3D検出器よりも優れている。 画像特徴をBEVに変換するには、特別なオペレーターが特徴サンプリングを行う必要がある。 特徴サンプリングを必要としない新しいBEV表現であるBEVの視点で物体を検出することを提案する。
  論文  参考訳（メタデータ） (2022-08-19T15:19:20Z)
• M^2BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation [145.6041893646006]
  M$2$BEVは3Dオブジェクトの検出とマップのセグメンテーションを共同で行う統合フレームワークである。 M$2$BEVは、両方のタスクを統一モデルで推論し、効率を向上する。
  論文  参考訳（メタデータ） (2022-04-11T13:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。