論文の概要: InfraDet3D: Multi-Modal 3D Object Detection based on Roadside Infrastructure Camera and LiDAR Sensors

• arxiv url: http://arxiv.org/abs/2305.00314v1
• Date: Sat, 29 Apr 2023 17:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 15:52:03.312272
• Title: InfraDet3D: Multi-Modal 3D Object Detection based on Roadside Infrastructure Camera and LiDAR Sensors
• Title（参考訳）: InfraDet3D:ロードサイドインフラストラクチャカメラとLiDARセンサを用いたマルチモード3Dオブジェクト検出
• Authors: Walter Zimmer, Joseph Birkner, Marcel Brucker, Huu Tung Nguyen, Stefan Petrovski, Bohan Wang, Alois C. Knoll
• Abstract要約: InfraDet3Dは道路インフラストラクチャセンサーのためのマルチモーダル3Dオブジェクト検出器である。 初期核融合により2つのLiDARを融合し、さらに単眼カメラからの検知を組み込んでロバスト性を高め、小さな物体を検出する。 知覚フレームワークは、ミュンヘンのA9テストストレッチ(A9 Test Stretch)の一部である現実世界の交差点に展開されている。
• 参考スコア（独自算出の注目度）: 23.058209168505247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current multi-modal object detection approaches focus on the vehicle domain and are limited in the perception range and the processing capabilities. Roadside sensor units (RSUs) introduce a new domain for perception systems and leverage altitude to observe traffic. Cameras and LiDARs mounted on gantry bridges increase the perception range and produce a full digital twin of the traffic. In this work, we introduce InfraDet3D, a multi-modal 3D object detector for roadside infrastructure sensors. We fuse two LiDARs using early fusion and further incorporate detections from monocular cameras to increase the robustness and to detect small objects. Our monocular 3D detection module uses HD maps to ground object yaw hypotheses, improving the final perception results. The perception framework is deployed on a real-world intersection that is part of the A9 Test Stretch in Munich, Germany. We perform several ablation studies and experiments and show that fusing two LiDARs with two cameras leads to an improvement of +1.90 mAP compared to a camera-only solution. We evaluate our results on the A9 infrastructure dataset and achieve 68.48 mAP on the test set. The dataset and code will be available at https://a9-dataset.com to allow the research community to further improve the perception results and make autonomous driving safer.
• Abstract（参考訳）: 現在のマルチモーダル物体検出手法は車両領域に焦点をあてており、知覚範囲と処理能力に制限がある。 道路脇センサユニット(rsus)は、知覚システムのための新しいドメインを導入し、高度を利用して交通を観測する。 ガントリーブリッジに搭載されたカメラとLiDARは認識範囲を増やし、トラフィックの完全なデジタル双対を生成する。 本研究では,道路インフラストラクチャセンサのためのマルチモーダル3Dオブジェクト検出器であるInfraDet3Dを紹介する。 初期核融合により2つのLiDARを融合させ、さらに単眼カメラからの検知を取り入れてロバスト性を高め、小さな物体を検出する。 我々の単分子3D検出モジュールはHDマップを使って仮説を立て、最終的な知覚結果を改善する。 知覚フレームワークは、ドイツのミュンヘンにあるa9テストストレッチの一部である現実世界の交差点にデプロイされる。 いくつかのアブレーション研究と実験を行い、2台のLiDARを2台のカメラで融合させることで、カメラのみのソリューションに比べて+1.90 mAPが改善されることを示した。 a9 インフラストラクチャデータセットでの結果を評価し,テストセット上で68.48 マップを達成した。 データセットとコードはhttps://a9-dataset.comで公開され、研究コミュニティは認識結果をさらに改善し、自動運転をより安全にすることができる。

関連論文リスト

• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• Joint object detection and re-identification for 3D obstacle multi-camera systems [47.87501281561605]
  本研究は,カメラとライダー情報を用いた物体検出ネットワークに新たな改良を加えたものである。 同じ車両内の隣のカメラにまたがって物体を再識別する作業のために、追加のブランチが組み込まれている。 その結果,従来の非最大抑圧(NMS)技術よりも,この手法が優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-09T15:16:35Z)
• Multi-Modal 3D Object Detection by Box Matching [109.43430123791684]
  マルチモーダル3次元検出のためのボックスマッチング(FBMNet)による新しいフュージョンネットワークを提案する。 3Dオブジェクトと2Dオブジェクトの提案を学習することで、ROI特徴を組み合わせることで、検出のための融合を効果的に行うことができる。
  論文  参考訳（メタデータ） (2023-05-12T18:08:51Z)
• Collaboration Helps Camera Overtake LiDAR in 3D Detection [49.58433319402405]
  カメラのみの3D検出は、LiDARベースの検出システムと比較して、オブジェクトを3D空間にローカライズするための簡単なソリューションを提供する。 提案するコラボレーティブカメラのみの3D検出(CoCa3D)により,エージェントは通信を通じて相互に補完情報を共有できる。 その結果、CoCa3Dは従来のSOTA性能をDAIR-V2Xで44.21%改善し、OPV2V+で30.60%、AP@70でCoPerception-UAVs+で12.59%向上した。
  論文  参考訳（メタデータ） (2023-03-23T03:50:41Z)
• CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection [12.557361522985898]
  本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。 本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
  論文  参考訳（メタデータ） (2022-10-17T17:18:47Z)
• Real-Time And Robust 3D Object Detection with Roadside LiDARs [20.10416681832639]
  道路沿いのLiDARにおける交通参加者をリアルタイムに検出できる3次元物体検出モデルを設計する。 我々のモデルは既存の3D検出器をベースラインとして使用し、精度を向上させる。 スマートシティのアプリケーションに使用できるLiDARベースの3D検出器に多大な貢献をしています。
  論文  参考訳（メタデータ） (2022-07-11T21:33:42Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• Rope3D: TheRoadside Perception Dataset for Autonomous Driving and Monocular 3D Object Detection Task [48.555440807415664]
  道路沿いの知覚3Dデータセットに挑戦する最初のハイダイバーシティを提示する。 データセットは50Kイメージと、さまざまなシーンで1.5M以上の3Dオブジェクトで構成されている。 本稿では,様々なセンサや視点によって引き起こされるあいまいさを解決するために,幾何学的制約を活用することを提案する。
  論文  参考訳（メタデータ） (2022-03-25T12:13:23Z)
• Multimodal Virtual Point 3D Detection [6.61319085872973]
  ライダーをベースとしたセンサーは、現在の自動運転車を駆動する。 現在のLidarセンサーは、解像度とコストに関して従来のカラーカメラより20年遅れている。 本稿では,RGBセンサをLidarベースの3D認識にシームレスに融合する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。