論文の概要: BEV-SUSHI: Multi-Target Multi-Camera 3D Detection and Tracking in Bird's-Eye View

• arxiv url: http://arxiv.org/abs/2412.00692v2
• Date: Sat, 07 Dec 2024 22:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:48:53.091103
• Title: BEV-SUSHI: Multi-Target Multi-Camera 3D Detection and Tracking in Bird's-Eye View
• Title（参考訳）: BEV-SUSHI:バードアイビューにおけるマルチターゲットマルチカメラ3D検出と追跡
• Authors: Yizhou Wang, Tim Meinhardt, Orcun Cetintas, Cheng-Yen Yang, Sameer Satish Pusegaonkar, Benjamin Missaoui, Sujit Biswas, Zheng Tang, Laura Leal-Taixé,
• Abstract要約: 本稿では,BEV-SUSHIという3次元物体検出・追跡フレームワークを提案する。 鳥の目視で3Dオブジェクトを検出するために、カメラキャリブレーションパラメータを必要とするマルチビュー画像を集約する。 既存の方法とは異なり、BEV-SUSHIは様々なシーンにまたがって印象的な一般化性を持ち、カメラの設定も様々である。
• 参考スコア（独自算出の注目度）: 39.75692195719607
• License:
• Abstract: Object perception from multi-view cameras is crucial for intelligent systems, particularly in indoor environments, e.g., warehouses, retail stores, and hospitals. Most traditional multi-target multi-camera (MTMC) detection and tracking methods rely on 2D object detection, single-view multi-object tracking (MOT), and cross-view re-identification (ReID) techniques, without properly handling important 3D information by multi-view image aggregation. In this paper, we propose a 3D object detection and tracking framework, named BEV-SUSHI, which first aggregates multi-view images with necessary camera calibration parameters to obtain 3D object detections in bird's-eye view (BEV). Then, we introduce hierarchical graph neural networks (GNNs) to track these 3D detections in BEV for MTMC tracking results. Unlike existing methods, BEV-SUSHI has impressive generalizability across different scenes and diverse camera settings, with exceptional capability for long-term association handling. As a result, our proposed BEV-SUSHI establishes the new state-of-the-art on the AICity'24 dataset with 81.22 HOTA, and 95.6 IDF1 on the WildTrack dataset.
• Abstract（参考訳）: マルチビューカメラからの物体認識は、特に屋内環境、倉庫、小売店、病院などのインテリジェントシステムにとって不可欠である。 従来のMTMC(Multi-target Multi-camera)検出と追跡手法は、2Dオブジェクト検出、MOT(Single-view Multi-Object Tracking)、ReID(Cross-view Re-identification)技術に頼っている。 本稿では,BEV-SUSHIという3次元物体検出・追跡を行うフレームワークを提案する。 次に,階層型グラフニューラルネットワーク(GNN)を導入して,これらの3次元検出をBEVで追跡し,MTMC追跡結果と比較する。 既存の方法とは異なり、BEV-SUSHIは様々なシーンと多様なカメラ設定にまたがって印象的な一般化性を持ち、長期的なアソシエーション処理には例外的な能力がある。 その結果,提案した BEV-SUSHI は AICity'24 データセットに 81.22 HOTA と 95.6 IDF1 の新たな最先端技術を確立した。

関連論文リスト

• SimPB: A Single Model for 2D and 3D Object Detection from Multiple Cameras [3.648972014796591]
  ビュービュー内の2Dオブジェクトと、複数のカメラからBEV空間内の3Dオブジェクトを同時に検出するSimPBと呼ばれる単一のモデルを提案する。 ハイブリッドデコーダは複数のマルチビュー2Dデコーダ層と複数の3Dデコーダ層で構成され、それぞれの検出タスク用に特別に設計されている。
  論文  参考訳（メタデータ） (2024-03-15T14:39:39Z)
• Towards Unified 3D Object Detection via Algorithm and Data Unification [70.27631528933482]
  我々は、最初の統一型マルチモーダル3Dオブジェクト検出ベンチマークMM-Omni3Dを構築し、上記のモノクロ検出器をマルチモーダルバージョンに拡張する。 設計した単分子・多モード検出器をそれぞれUniMODEとMM-UniMODEと命名した。
  論文  参考訳（メタデータ） (2024-02-28T18:59:31Z)
• Towards Generalizable Multi-Camera 3D Object Detection via Perspective Debiasing [28.874014617259935]
  マルチカメラ3Dオブジェクト検出(MC3D-Det)は,鳥眼ビュー(BEV)の出現によって注目されている。 本研究では,3次元検出と2次元カメラ平面との整合性を両立させ,一貫した高精度な検出を実現する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T15:31:28Z)
• Unsupervised Multi-view Pedestrian Detection [12.882317991955228]
  2D-3Dマッピングによる多視点歩行者検出器の学習におけるアノテーションの必要性を排除するために,unsupervised Multi-view Pedestrian Detection approach (UMPD)を提案する。 SISは、疑似ラベルとして2次元歩行者マスクに変換される多視点画像の教師なし表現を抽出することを提案する。 GVDは、多視点2D画像を3Dボリュームにエンコードし、3Dから2Dマッピングで訓練された2Dから3Dの幾何学的投影を通して、ボクセルの密度と色を予測する。
  論文  参考訳（メタデータ） (2023-05-21T13:27:02Z)
• OA-BEV: Bringing Object Awareness to Bird's-Eye-View Representation for Multi-Camera 3D Object Detection [78.38062015443195]
  OA-BEVは、BEVベースの3Dオブジェクト検出フレームワークにプラグインできるネットワークである。 提案手法は,BEV ベースラインに対する平均精度と nuScenes 検出スコアの両面で一貫した改善を実現する。
  論文  参考訳（メタデータ） (2023-01-13T06:02:31Z)
• A Simple Baseline for Multi-Camera 3D Object Detection [94.63944826540491]
  周囲のカメラで3Dオブジェクトを検出することは、自動運転にとって有望な方向だ。 マルチカメラオブジェクト検出のための簡易ベースラインであるSimMODを提案する。 我々は, nuScenes の3次元オブジェクト検出ベンチマークにおいて, SimMOD の有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-22T03:38:01Z)
• MVM3Det: A Novel Method for Multi-view Monocular 3D Detection [0.0]
  MVM3Detは、多視点単眼情報に基づいて、オブジェクトの3次元位置と向きを同時に推定する。 MVM3Dというマルチビュー3Dオブジェクト検出のための最初のデータセットを提案する。
  論文  参考訳（メタデータ） (2021-09-22T01:31:00Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• BirdNet+: End-to-End 3D Object Detection in LiDAR Bird's Eye View [117.44028458220427]
  自動運転車のオンボード3Dオブジェクト検出は、LiDARデバイスが捉えた幾何学情報に依存することが多い。 本稿では,BEV画像のみから指向性3Dボックスを推測可能な,エンドツーエンドの3Dオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-09T15:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。