論文の概要: MaskBEV: Towards A Unified Framework for BEV Detection and Map Segmentation

• arxiv url: http://arxiv.org/abs/2408.09122v1
• Date: Sat, 17 Aug 2024 07:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 22:37:12.375606
• Title: MaskBEV: Towards A Unified Framework for BEV Detection and Map Segmentation
• Title（参考訳）: MaskBEV: BEV検出とマップセグメンテーションのための統一フレームワークを目指す
• Authors: Xiao Zhao, Xukun Zhang, Dingkang Yang, Mingyang Sun, Mingcheng Li, Shunli Wang, Lihua Zhang,
• Abstract要約: MaskBEVは、マスキングによるマルチタスク学習パラダイムである。 3Dオブジェクトの検出と鳥の目視(BEV)マップのセグメンテーションを統一する。 3Dオブジェクト検出の1.3 NDS改善とBEVマップセグメンテーションの2.7 mIoU改善を実現している。
• 参考スコア（独自算出の注目度）: 14.67253585778639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate and robust multimodal multi-task perception is crucial for modern autonomous driving systems. However, current multimodal perception research follows independent paradigms designed for specific perception tasks, leading to a lack of complementary learning among tasks and decreased performance in multi-task learning (MTL) due to joint training. In this paper, we propose MaskBEV, a masked attention-based MTL paradigm that unifies 3D object detection and bird's eye view (BEV) map segmentation. MaskBEV introduces a task-agnostic Transformer decoder to process these diverse tasks, enabling MTL to be completed in a unified decoder without requiring additional design of specific task heads. To fully exploit the complementary information between BEV map segmentation and 3D object detection tasks in BEV space, we propose spatial modulation and scene-level context aggregation strategies. These strategies consider the inherent dependencies between BEV segmentation and 3D detection, naturally boosting MTL performance. Extensive experiments on nuScenes dataset show that compared with previous state-of-the-art MTL methods, MaskBEV achieves 1.3 NDS improvement in 3D object detection and 2.7 mIoU improvement in BEV map segmentation, while also demonstrating slightly leading inference speed.
• Abstract（参考訳）: 高精度で堅牢なマルチモーダルマルチタスク認識は、現代の自動運転システムにとって不可欠である。 しかし、現在のマルチモーダル認知研究は、特定の知覚タスク用に設計された独立したパラダイムに従っており、タスク間の相補的学習の欠如と、共同学習によるマルチタスク学習(MTL)の性能低下につながっている。 本稿では,3次元物体検出と鳥の目視(BEV)マップのセグメンテーションを統合したマスキングアテンションに基づくMTLパラダイムであるMaskBEVを提案する。 MaskBEVはタスクに依存しないトランスフォーマーデコーダを導入し、これらの多様なタスクを処理する。 BEV空間におけるBEVマップセグメンテーションと3次元オブジェクト検出タスクの相補的な情報を完全に活用するために,空間変調とシーンレベルのコンテキスト集約戦略を提案する。 これらの戦略は、BEVセグメンテーションと3D検出の固有の依存関係を考慮し、MTL性能を自然に向上させる。 nuScenesデータセットの大規模な実験によると、MaskBEVは従来の最先端のMTL手法と比較して、3Dオブジェクトの検出における1.3 NDSの改善とBEVマップのセグメンテーションにおける2.7 mIoUの改善を達成している。

関連論文リスト

• EVT: Efficient View Transformation for Multi-Modal 3D Object Detection [2.9848894641223302]
  効率的なビュー変換(EVT)による新しい3次元物体検出法を提案する。 EVTは、アダプティブサンプリングとアダプティブプロジェクション(ASAP)を使用して、3Dサンプリングポイントとアダプティブカーネルを生成する。 トランスデコーダ内で得られたマルチモーダルBEV機能を効果的に活用するように設計されている。
  論文  参考訳（メタデータ） (2024-11-16T06:11:10Z)
• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• Multi-View Attentive Contextualization for Multi-View 3D Object Detection [19.874148893464607]
  MvACon(Multi-View Attentive Contextualization)は,クエリベース3D(MV3D)オブジェクト検出における2D-to-3D機能向上のための,シンプルかつ効果的な手法である。 実験では、提案されたMvAConは、BEVFormerと最近の3Dデフォルマブルアテンション(DFA3D)とPETRの両方を用いて、nuScenesベンチマークで徹底的にテストされている。
  論文  参考訳（メタデータ） (2024-05-20T17:37:10Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection [15.204935788297226]
  ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。 既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。 KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-10-28T07:12:09Z)
• OCBEV: Object-Centric BEV Transformer for Multi-View 3D Object Detection [29.530177591608297]
  マルチビュー3Dオブジェクト検出は、高い有効性と低コストのため、自動運転において人気を博している。 現在の最先端検出器のほとんどは、クエリベースのバードアイビュー(BEV)パラダイムに従っている。 本稿では,移動対象の時間的・空間的手がかりをより効率的に彫ることができるOCBEVを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:59:48Z)
• BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
  我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。 BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T11:16:12Z)
• BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving [92.05963633802979]
  マルチカメラシステムに基づく3次元認識と予測のための統合フレームワークであるBEVerseを提案する。 マルチタスクBEVerseは3次元オブジェクト検出,セマンティックマップ構築,動き予測において単一タスク法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-19T17:55:35Z)
• M^2BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Birds-Eye View Representation [145.6041893646006]
  M$2$BEVは3Dオブジェクトの検出とマップのセグメンテーションを共同で行う統合フレームワークである。 M$2$BEVは、両方のタスクを統一モデルで推論し、効率を向上する。
  論文  参考訳（メタデータ） (2022-04-11T13:43:25Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。